[論文レビュー] GPTs Window Shopping: An analysis of the Landscape of Custom ChatGPT Models

Benjamin Zi Hao Zhao, Muhammad Ikram+1 more|arXiv (Cornell University)|May 17, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本論文は、OpenAIのGPTストアとサードパーティストアであるEpicGPTstoreにおけるカスタムGPTの状況を、大規模なデータ収集とウェブインfra構造分析を用いて分析している。英語がGPT作成において支配的であることが明らかになり、分類の活用は不十分である。また、約半数の作成者がウェブサイトを通じて外部で収益化しており、しばしばブログや有料サービスを宣伝している。これは、OpenAIが約束する収益分配にかかわらず、非公式な収益モデルへの移行が進んでいることを示している。

ABSTRACT

OpenAI's ChatGPT initiated a wave of technical iterations in the space of Large Language Models (LLMs) by demonstrating the capability and disruptive power of LLMs. OpenAI has prompted large organizations to respond with their own advancements and models to push the LLM performance envelope. OpenAI has prompted large organizations to respond with their own advancements and models to push the LLM performance envelope. OpenAI's success in spotlighting AI can be partially attributed to decreased barriers to entry, enabling any individual with an internet-enabled device to interact with LLMs. What was previously relegated to a few researchers and developers with necessary computing resources is now available to all. A desire to customize LLMs to better accommodate individual needs prompted OpenAI's creation of the GPT Store, a central platform where users can create and share custom GPT models. Customization comes in the form of prompt-tuning, analysis of reference resources, browsing, and external API interactions, alongside a promise of revenue sharing for created custom GPTs. In this work, we peer into the window of the GPT Store and measure its impact. Our analysis constitutes a large-scale overview of the store exploring community perception, GPT details, and the GPT authors, in addition to a deep-dive into a 3rd party storefront indexing user-submitted GPTs, exploring if creators seek to monetize their creations in the absence of OpenAI's revenue sharing.

研究の動機と目的

• 非エキスパートユーザーが作成するカスタムGPTの広がりと、OpenAI GPTストアの現状を理解すること。
• EpicGPTstoreのような外部プラットフォームが、カスタムGPTのプロモーションおよび収益化にどのように活用されているかを調査すること。
• ユーザーがOpenAIの公式収益化フレームワークを回避し、外部ウェブサイトにユーザーを誘導することで、いかに収益化を図っているかを評価すること。
• GPT作成者がリンクするドメインに関連するウェブインfra構造とセキュリティリスク、特にマルウェアやフィッシングの兆候を分析すること。
• 今後のLLMカスタマイズおよびマーケットプレイスのダイナミクスに関する研究を支援するため、公開データセットとコードベースを提供すること。

提案手法

• Beetrove検索エンジン発見システムから、GPTエコシステムをクローリングする手段を用いて、334,000件のカスタムGPTのデータセットを収集した。
• サードパーティのEpicGPTstoreから、作成者が積極的にインデックス登録をした4,186件のGPTを含む、キュレート済みデータセットと比較した。
• GPTのタイトル、説明、カテゴリ、作成日時などのメタデータを分析し、言語使用、分類の活用、作成タイミングに関する傾向を特定した。
• GPT作成者がリンクする439のドメインをウェブクローリングし、価格条件、ブログ、サブスクリプションの記述などの収益化シグナルを検出した。
• すべての収集済みドメインに対してVirusTotalスキャンを実施し、92台のウイルス対策エンジンを用いてリスクを評価した。
• 自然言語処理を用いて、ウェブコンテンツ内に「無料トライアル」「サブスクリプション」「$」などの収益化関連キーワードが含まれるかを検出し、外部収益化の意図を推定した。

実験結果

リサーチクエスチョン

• RQ1 OpenAI GPTストアにおけるカスタムGPTの作成は、英語がどれほど支配的であり、他の言語と比べてどう異なるか。
• RQ2 作成者はOpenAIの公式分類システムをどの程度活用しているのか。また、GPT作成の急増と関連する要因は何か。
• RQ3 GPT作成者の何パーセントが外部ウェブサイトを通じて実際に収益化しており、どのような収益化戦略が採用されているか。
• RQ4 GPT作成者がリンクするドメインには、マルウェアやフィッシングの兆候を含むどのようなセキュリティリスクが伴うか。
• RQ5 EpicGPTstoreのようなサードパーティストアは、作成者の行動や外部収益化のトレンドにどのように影響を与えているか。

主な発見

• Beetroveデータセットに含まれる334,000件のGPTのうち89.4%が英語で作成されており、カスタムGPTエコシステムにおける強い言語的優位性が示された。
• BeetroveデータセットのGPTのうち12.5%しかカテゴリに割り当てられておらず、OpenAIの公式分類システムが広く使われていないことが示された。
• GPT作成活動は、GPTストアのリリースおよびDevDay 2024イベントという2つの主要なOpenAI発表と強く相関しており、外部イベントがユーザー参加を促す要因となっていることがわかった。
• GPT作成者がリンクした有効なドメイン439件のうち、193件（48.7%）が少なくとも1つの収益化関連キーワードを含んでおり、非公式な収益モデルへの顕著な移行が確認された。
• 有効なドメインのうち132件（33.3%）がブログの参照を含んでおり、作成者がブログをプロモーションやコンテンツ主導の収益化戦略として活用していることが示された。
• VirusTotalスキャンで、92台のスキャナーを用いて10のドメインがマルウェアと判定された。特にgptjp.netとcitibankdemobusiness.devには顕著なリスク兆候が確認されたが、全体のマルウェア出現率は低かった。