[논문 리뷰] GPTs Window Shopping: An analysis of the Landscape of Custom ChatGPT Models

Benjamin Zi Hao Zhao, Muhammad Ikram외 1명|arXiv (Cornell University)|2024. 05. 17.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 대규모 데이터 수집과 웹 인프라 분석을 통해 OpenAI의 GPT 스토어와 제3자 스토어인 EpicGPTstore에서의 커스터마이징된 GPT의 환경을 분석한다. 분석 결과, 영어가 지배적임을 확인했고, 카테고리 사용은 미흡했으며, 거의 50%의 제작자가 블로그나 유료 서비스를 홍보하는 웹사이트를 통해 외부에서 수익을 올리고 있음을 확인해, OpenAI가 약속한 수익 분배와는 달리 플랫폼 외부 수익 모델로의 전환이 이루어지고 있음을 시사한다.

ABSTRACT

OpenAI's ChatGPT initiated a wave of technical iterations in the space of Large Language Models (LLMs) by demonstrating the capability and disruptive power of LLMs. OpenAI has prompted large organizations to respond with their own advancements and models to push the LLM performance envelope. OpenAI has prompted large organizations to respond with their own advancements and models to push the LLM performance envelope. OpenAI's success in spotlighting AI can be partially attributed to decreased barriers to entry, enabling any individual with an internet-enabled device to interact with LLMs. What was previously relegated to a few researchers and developers with necessary computing resources is now available to all. A desire to customize LLMs to better accommodate individual needs prompted OpenAI's creation of the GPT Store, a central platform where users can create and share custom GPT models. Customization comes in the form of prompt-tuning, analysis of reference resources, browsing, and external API interactions, alongside a promise of revenue sharing for created custom GPTs. In this work, we peer into the window of the GPT Store and measure its impact. Our analysis constitutes a large-scale overview of the store exploring community perception, GPT details, and the GPT authors, in addition to a deep-dive into a 3rd party storefront indexing user-submitted GPTs, exploring if creators seek to monetize their creations in the absence of OpenAI's revenue sharing.

연구 동기 및 목표

• 비전문가 사용자가 제작한 커스터마이징된 GPT의 현재 상태와 OpenAI GPT 스토어 및 광범위한 생태계를 이해하기 위해.
• 제작자가 EpicGPTstore와 같은 제3자 플랫폼을 어떻게 활용하여 자신의 커스터마이징된 GPT를 홍보하고 수익화하고 있는지 조사하기 위해.
• 사용자가 OpenAI의 공식 수익화 프레임워크를 회피하고 외부 웹사이트로 유도함으로써 플랫폼 외부 수익 모델을 얼마나 적극적으로 활용하고 있는지 평가하기 위해.
• GPT 제작자가 연결한 도메인과 관련된 웹 인프라 및 보안 위험, 예를 들어 악성 소프트웨어나 피싱 위협을 분석하기 위해.
• 향후 LLM 커스터마이징 및 마켓플레이스 역학에 대한 연구를 지원하기 위해 공개 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• Beetrove 검색 엔진 발견 시스템을 통해 GPT 생태계를 크롤링하여 총 334,000개의 커스터마이징된 GPT 데이터셋을 확보하였다.
• 제작자가 능동적으로 인덱싱을 위해 제출한 제3자 스토어인 EpicGPTstore의 4,186개 GPT를 포함한 정제된 데이터셋과 비교하였다.
• GPT 제목, 설명, 카테고리, 제작 일자 등의 메타데이터를 분석하여 언어 사용, 카테고리화, 제작 시기의 추세를 파악하였다.
• GPT 제작자가 연결한 439개 도메인을 대상으로 웹 크롤링을 수행하여 가격 조건, 블로그, 구독 참조 등 수익화 신호를 탐지하였다.
• 모든 수집된 도메인에 대해 VirusTotal 스캔을 실시하여 악성 지표를 탐지하였으며, 92개의 악성 소프트웨어 검사 엔진을 활용해 위험도를 평가하였다.
• 자연어 처리 기법을 활용해 웹사이트 내용에서 수익화 관련 키워드(예: '무료 체험', '구독', '$')를 탐지하여 외부 수익화 의도를 유추하였다.

실험 결과

연구 질문

• RQ1 OpenAI GPT 스토어의 커스터마이징된 GPT 중 영어로 제작된 비율은 어느 정도이며, 다른 언어와 비교해 어떻게 다른가?
• RQ2 제작자는 OpenAI의 공식 카테고리 시스템을 얼마나 활용하고 있으며, GPT 제작 증가 정점과 관련된 요인은 무엇인가?
• RQ3 GPT 제작자의 어느 정도 비율이 외부 웹사이트를 통해 활발히 수익을 창출하고 있으며, 어떤 수익화 전략을 사용하고 있는가?
• RQ4 GPT 제작자가 연결한 도메인과 관련된 보안 위험, 예를 들어 악성 소프트웨어나 피싱 지표는 무엇인가?
• RQ5 EpicGPTstore와 같은 제3자 스토어는 제작자 행동과 외부 수익화 추세에 어떤 영향을 미치는가?

주요 결과

• Beetrove 데이터셋에 포함된 334,000개의 GPT 중 89.4%가 영어로 제작되어, 커스터마이징된 GPT 생태계에서 영어의 강력한 언어적 지배를 보여준다.
• Beetrove 데이터셋의 GPT 중 12.5%만 카테고리에 할당되어 있어, OpenAI의 공식 카테고리 시스템이 광범위하게 부족하게 사용되고 있음을 시사한다.
• GPT 제작 활동은 OpenAI의 GPT 스토어 출시와 DevDay 2024 행사 두 가지 주요 발표와 강하게 상관관계가 있었으며, 외부 이벤트가 사용자 참여를 이끄는 것으로 나타났다.
• GPT 제작자가 연결한 396개의 유효한 도메인 중 193개(48.7%)가 최소 한 개 이상의 수익화 관련 키워드를 포함하여, 플랫폼 외부 수익 모델로의 중대한 전환이 이루어지고 있음을 시사한다.
• 132개(33.3%)의 유효한 도메인에 블로그 참조가 포함되어 있어, 제작자가 블로그를 홍보나 콘텐츠 기반 수익화 전략으로 활용하고 있음을 보여준다.
• VirusTotal 스캔 결과 10개 도메인이 92개 스캐너에서 악성으로 표시되었으며, gptjp.net와 citibankdemobusiness.dev는 특히 높은 위험 지표를 보였지만, 전반적인 악성 소프트웨어 유포율은 낮았다.