[논문 리뷰] Is GPT-3 a Good Data Annotator?

Bosheng Ding, Chengwei Qin외 5명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 NLP 작업을 위한 데이터 주석자로 GPT-3를 평가하며, 시퀀스 수준 및 토큰 수준 작업 전반에 걸쳐 직접 주석, 생성 기반, few-shot prompting의 세 가지 프롬프팅 기반 방법을 비교한다. 생성 기반 접근 방식은 큰 레이블 공간에서 더 비용 효율적이며 적합한 것으로 나타났고, 직접 주석은 작은 레이블 공간에서 더 우수한 성능을 보였다. 이는 자원이 제한된 환경에서 저비용으로 확장 가능한 데이터 주석을 위한 GPT-3의 가능성을 입증한다.

ABSTRACT

Data annotation is the process of labeling data that could be used to train machine learning models. Having high-quality annotation is crucial, as it allows the model to learn the relationship between the input data and the desired output. GPT-3, a large-scale language model developed by OpenAI, has demonstrated impressive zero- and few-shot performance on a wide range of NLP tasks. It is therefore natural to wonder whether it can be used to effectively annotate data for NLP tasks. In this paper, we evaluate the performance of GPT-3 as a data annotator by comparing it with traditional data annotation methods and analyzing its output on a range of tasks. Through this analysis, we aim to provide insight into the potential of GPT-3 as a general-purpose data annotator in NLP.

연구 동기 및 목표

• GPT-3가 NLP 작업을 위한 일반 목적의 데이터 주석자로 사용 가능한지의 가능성을 평가하는 것.
• 직접 주석, 생성 기반, few-shot prompting의 세 가지 GPT-3 기반 주석 방법 간의 성능, 비용, 시간 효율성 비교.
• 특히 자원이 제한된 소규모 기관이나 개인이 전통적 주석 방식을 초월할 수 있는 조건에서 GPT-3가 얼마나 효과적으로 작동하는지 파악하는 것.
• 시퀀스 수준(예: 텍스트 분류) 및 토큰 수준(예: NER) 작업 모두에서 GPT-3의 성능 평가.
• GPT-3의 다국어 주석 능력과 도메인 특화 지식 유지 능력 탐구.

제안 방법

• 세 가지 주석 접근 방식 평가: (1) 클래스 이름을 사용한 직접 프롬프트 기반 레이블링, (2) 입력에서 GPT-3가 전체 주석을 생성하는 생성 기반 프롬프팅, (3) 시드 예시를 포함한 few-shot 프롬프팅.
• SST-2(감성 분류), FewRel(관계 분류), NER(이름 있는 엔티티 인식)를 포함한 여러 NLP 벤치마크에서 영어 및 비영어 언어로 실험 수행.
• 비용과 시간은 API 호출 비용과 처리 시간을 추정하여 측정하였으며, 수동 주석 시간은 계산에서 제외됨.
• 모호성을 최소화하고 일관성을 극대화하기 위해 프롬프트를 철저히 설계하였으며, 최소한의 프롬프트 설정(0-shot 및 최대 2-shot 예시 포함)을 적용.
• OpenAI API를 통해 GPT-3(instruct-turbo)를 사용하였으며, 평가 지표로는 테스트 분할에서의 정확도와 F1 점수를 사용.
• 다양한 레이블 공간 크기와 언어 유형에서의 성능 분석을 위해 탈락 실험과 사례 연구 수행.

실험 결과

연구 질문

• RQ1 GPT-3는 NLP 작업의 학습 데이터 생성을 위한 인간 주석자 대체로 효과적으로 기능할 수 있는가?
• RQ2 직접 주석, 생성 기반, few-shot 프롬프팅의 세 가지 프롬프팅 전략 간 정확도, 비용, 시간 측면에서의 성능 비교는 어떻게 되는가?
• RQ3 GPT-3는 이진 분류와 같은 작은 레이블 공간 작업에서, 아니면 관계 분류와 같은 큰 레이블 공간 작업에서 더 효과적인가?
• RQ4 GPT-3는 다국어 주석, 특히 자원이 적은 언어에서 어떻게 작동하는가?
• RQ5 GPT-3가 기억한 도메인 특화 지식이 주석 품질 향상에 얼마나 기여하는가?

주요 결과

• 생성 기반 프롬프팅은 FewRel과 같은 큰 레이블 공간 작업에서 직접 주석보다 더 높은 정확도를 기록하였으며, 0-shot 설정에서 6000개 샘플 기준 F1 점수는 80.15%를 기록하였다.
• 직접 주석은 SST-2와 같은 작은 레이블 공간 작업에서 생성 기반 방법보다 우수한 성능을 보였으며, 0-shot 설정에서 6000개 샘플 기준 정확도는 87.31%였다.
• 생성 기반 접근 방식은 비용 효율성이 뛰어나, 동일 조건에서 직접 주석 대비 6000개 샘플 기준 비용이 단 $1.61로 약 3배 이상 낮았다.
• GPT-3는 강력한 다국어 능력을 보였으며, 중국어 NER와 프랑스어 텍스트 분류 모두에서 인간 수준의 일관성과 유사한 성능을 기록하였다.
• GPT-3는 복잡한 사실관계 및 지리적 관계에 대한 정확한 주석을 통해 도메인 특화 지식의 강력한 기억력이 입증되었다.
• 멀티프로세싱(5개 프로세스)을 사용함으로써 시간을 최대 50%까지 단축시켰으며, 0-shot 설정에서 직접 주석 기반 6000개 샘플 처리에 27분이 소요되었다.