[논문 리뷰] AI on AI: Exploring the Utility of GPT as an Expert Annotator of AI Publications

Autumn Toney-Wails, Christian Schoeberl외 1명|arXiv (Cornell University)|2024. 03. 14.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 GPT 모델을 인공지능 연구 논문 분류 전문 평가자로 평가하며, 프롬프트 엔지니어링을 통해 94%의 정확도를 달성함—fine-tuned SPECTER 모델(96%)과 유사한 성능을 보이며, GPT로 레이블링된 데이터로 학습한 후행 분류기의 성능이 원래 arXiv 기반 모델보다 9%p 높아 82%의 정확도에 도달함.

ABSTRACT

Identifying scientific publications that are within a dynamic field of research often requires costly annotation by subject-matter experts. Resources like widely-accepted classification criteria or field taxonomies are unavailable for a domain like artificial intelligence (AI), which spans emerging topics and technologies. We address these challenges by inferring a functional definition of AI research from existing expert labels, and then evaluating state-of-the-art chatbot models on the task of expert data annotation. Using the arXiv publication database as ground-truth, we experiment with prompt engineering for GPT chatbot models to identify an alternative, automated expert annotation pipeline that assigns AI labels with 94% accuracy. For comparison, we fine-tune SPECTER, a transformer language model pre-trained on scientific publications, that achieves 96% accuracy (only 2% higher than GPT) on classifying AI publications. Our results indicate that with effective prompt engineering, chatbots can be used as reliable data annotators even where subject-area expertise is required. To evaluate the utility of chatbot-annotated datasets on downstream classification tasks, we train a new classifier on GPT-labeled data and compare its performance to the arXiv-trained model. The classifier trained on GPT-labeled data outperforms the arXiv-trained model by nine percentage points, achieving 82% accuracy.

연구 동기 및 목표

• 표준화된 정의 또는 분류 체계가 없는 급격히 변화하는 분야에서 인공지능 연구를 식별하는 데 도전하는 것.
• GPT와 같은 대규모 언어 모델이 과학적 논문 분류를 위한 신뢰할 수 있는 자동 전문 평가자로 기능할 수 있는지 평가하는 것.
• 도메인 특화 작업을 위한 정확도와 일관성을 향상시키기 위해 프롬프트 엔지니어링 프레임워크를 개발하는 것.
• 전문가 레이블 기반 기준과 비교해 GPT 레이블링 데이터가 후행 분류 모델의 훈련 데이터로 얼마나 효과적으로 기능하는지 평가하는 것.
• arXiv에서의 커뮤니티 기반 전문가 레이블을 시간적 관련성 있는 기준으로 활용할 수 있는지 탐색하는 것.

제안 방법

• arXiv에서 저자 할당한 주제 카테고리 자료를 활용해 AI-arXiv라는 기준 데이터셋을 구축하여 AI 논문를 식별함.
• 과학적 텍스트로 사전 훈련된 트랜스포머 모델인 SPECTER를 AI-arXiv에 대해 피니테이닝하여 고정확도 기준 분류기(96% 정확도)를 생성함.
• GPT-3.5-Turbo 및 GPT-4가 AI 논문를 레이블링하도록 도와주기 위해 독자, 연구자, 전문가 등 역할 기반 프롬프트(제로샷)를 설계함.
• 명확성과 불확실성 문장을 프롬프트에 통합하여 추론 능력을 향상시키고 환상(hallucination)을 줄여 일관성을 향상시킴.
• GPT 레이블링된 레이블을 사용해 새로운 데이터셋 AI-GPT를 생성하고, AI-arXiv 기준 모델과 비교하기 위해 별도의 분류기 훈련함.
• 상위 13개 AI 컨퍼런스의 보류된 테스트 세트를 활용해 일반화 능력과 정확도를 측정하기 위해 모델 성능 평가함.

실험 결과

연구 질문

• RQ1 GPT 모델이 피니테이닝 없이 프롬프트 엔지니어링만으로 AI 연구 논문 분류에 높은 정확도를 달성할 수 있는가?
• RQ2 동일한 기준 데이터셋을 사용할 때, GPT 모델의 성능은 피니테이닝된 SPECTER 모델과 비교해 어떻게 되는가?
• RQ3 시스템 프롬프트에서 역할(예: 연구자 vs 전문가)을 선택하는 것이 GPT의 레이블링 정확도에 유의미한 영향을 미치는가?
• RQ4 GPT 레이블링된 데이터로 훈련된 후행 분류기가 전문가 레이블 데이터로 훈련된 모델보다 더 잘 일반화되는가?
• RQ5 특히 극단 케이스에서 GPT 모델이 기억( memorization)에 의존하는지, 추론에 의존하는지의 비율은 어느 정도인가?

주요 결과

• GPT-3.5-Turbo와 GPT-4는 프롬프트 엔지니어링만으로도 AI 논문 분류에서 제로샷으로 94%의 정확도를 달성했으며, 이는 피니테이닝된 SPECTER 기준 모델의 96% 정확도와 유사함.
• GPT 레이블링된 데이터로 훈련된 AI-GPT 분류기는 AI-arXiv 분류기보다 9%p 높은 82%의 정확도를 기록했으며, 상위 AI 컨퍼런스 논문 테스트 세트에서 성능을 입증함.
• 명확성과 불확실성 문장을 포함한 프롬프트 엔지니어링은 GPT-3.5-Turbo의 성능을 크게 향상시켜 비용이 낮은데도 GPT-4 수준의 성능을 달성함.
• GPT-4는 비AI 논문를 올바르게 레이블링할 때 중앙값으로 0.95의 신뢰도 확률을 보였으며, 이는 응답 확률과 내부 신뢰도 사이에 잠재적 불일치를 시사함.
• GPT 모델은 오픈소스 AI 논문에서 더 높은 정확도를 보였으며, 이는 일반적인 추론보다는 훈련 데이터 패턴의 기억에 기반한 가능성을 시사함.
• 본 연구는 LLM이 공식 분류 체계가 없는 분야에서 과학 문헌 분류를 위한 확장 가능하고 신뢰할 수 있는 평가자로 기능할 수 있음을 입증함.