[论文解读] GPTs Window Shopping: An analysis of the Landscape of Custom ChatGPT Models

Benjamin Zi Hao Zhao, Muhammad Ikram+1 more|arXiv (Cornell University)|May 17, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文通过大规模数据收集与网络基础设施分析，研究了 OpenAI GPT Store 及第三方商店 EpicGPTstore 中自定义 GPT 的生态现状。研究发现，英语在 GPT 创作中占据主导地位，分类系统使用率极低，近半数创作者通过网站等外部渠道实现变现，常推广博客或付费服务，表明尽管 OpenAI 承诺提供收入分成，但创作者仍普遍转向平台外的收入模式。

ABSTRACT

OpenAI's ChatGPT initiated a wave of technical iterations in the space of Large Language Models (LLMs) by demonstrating the capability and disruptive power of LLMs. OpenAI has prompted large organizations to respond with their own advancements and models to push the LLM performance envelope. OpenAI has prompted large organizations to respond with their own advancements and models to push the LLM performance envelope. OpenAI's success in spotlighting AI can be partially attributed to decreased barriers to entry, enabling any individual with an internet-enabled device to interact with LLMs. What was previously relegated to a few researchers and developers with necessary computing resources is now available to all. A desire to customize LLMs to better accommodate individual needs prompted OpenAI's creation of the GPT Store, a central platform where users can create and share custom GPT models. Customization comes in the form of prompt-tuning, analysis of reference resources, browsing, and external API interactions, alongside a promise of revenue sharing for created custom GPTs. In this work, we peer into the window of the GPT Store and measure its impact. Our analysis constitutes a large-scale overview of the store exploring community perception, GPT details, and the GPT authors, in addition to a deep-dive into a 3rd party storefront indexing user-submitted GPTs, exploring if creators seek to monetize their creations in the absence of OpenAI's revenue sharing.

研究动机与目标

• 理解当前 OpenAI GPT Store 及非专家用户创建的自定义 GPT 生态系统的整体状况。
• 调查创作者如何利用 EpicGPTstore 等第三方平台推广并变现其自定义 GPT。
• 评估创作者在多大程度上绕过 OpenAI 官方变现框架，引导用户访问外部网站。
• 检查与 GPT 创作者关联的域名所涉及的网络基础设施与安全风险，包括潜在的恶意软件或钓鱼威胁。
• 提供公开数据集与代码库，以支持未来对大语言模型定制化及市场动态的研究。

提出的方法

• 从 Beetrove 搜索引擎发现系统收集了 334,000 个自定义 GPT 的数据集，该系统负责爬取 GPT 生态系统。
• 将该数据集与第三方平台 EpicGPTstore 的精选数据集（共 4,186 个 GPT）进行对比，该平台由创作者主动提交以供索引。
• 分析元数据，如 GPT 标题、描述、分类和创建日期，以识别语言使用、分类使用及创建时间上的趋势。
• 对 GPT 创作者关联的 439 个域名进行网络爬取，以检测变现信号，包括定价条款、博客链接及订阅提示。
• 对所有收集到的域名执行 VirusTotal 扫描，使用 92 种杀毒引擎检测恶意指标，评估风险。
• 使用自然语言处理技术检测网站内容中是否存在与变现相关的关键词（如“免费试用”、“订阅”、“$”），以推断外部变现意图。

实验结果

研究问题

• RQ1 在 OpenAI GPT Store 上，自定义 GPT 有多少比例是以英语创建的？与其他语言相比如何？
• RQ2 创作者在多大程度上使用 OpenAI 的官方分类系统？哪些因素与 GPT 创建高峰相关？
• RQ3 有多少比例的 GPT 创作者正在通过外部网站积极变现其创作？采用了哪些类型的变现策略？
• RQ4 与 GPT 创作者关联的域名存在哪些安全风险，例如恶意软件或钓鱼指标？
• RQ5 像 EpicGPTstore 这类第三方商店在多大程度上影响了创作者行为及外部变现趋势？

主要发现

• 在 Beetrove 数据集中，334,000 个 GPT 中有 89.4% 是以英语创建的，表明英语在自定义 GPT 生态系统中占据显著的语言主导地位。
• 在 Beetrove 数据集中，仅有 12.5% 的 GPT 被分配到某一分类，表明 OpenAI 的官方分类系统被广泛忽视。
• GPT 创建活动与两次重大 OpenAI 发布事件高度相关：GPT Store 上线与 DevDay 2024 活动，表明外部事件显著驱动用户参与度。
• 在 396 个有效域名中，有 193 个（占 48.7%）包含至少一个与变现相关的关键词，表明存在显著的向平台外收入模式转变的趋势。
• 在有效域名中，有 132 个（占 33.3%）包含博客引用，表明创作者常使用博客作为推广或内容驱动的变现策略。
• VirusTotal 扫描在 92 个扫描器中检测到 10 个域名存在恶意行为，其中 gptjp.net 和 citibankdemobusiness.dev 显示出显著风险指标，但总体恶意软件出现率较低。