[논문 리뷰] a survey on GPT-3

Mingyu Zong, Bhaskar Krishnamachari|arXiv (Cornell University)|2022. 12. 01.

Data Stream Mining Techniques인용 수 17

한 줄 요약

이 종합 검토는 GPT-3의 아키텍처, 훈련 데이터, 그리고 1750억 파라미터 언어 모델로서의 능력을 상세히 다루며, 챗봇, 프로그래밍, 비즈니스 도구 등 다양한 분야에서의 응용을 검토한다. 동시에 환각, 편향, 높은 에너지 소비와 같은 주요 과제를 언급하며, 개선된 감시 시스템과 더 지속 가능한 모델 설계의 필요성을 제기한다.

ABSTRACT

This paper provides an introductory survey to GPT-3. We cover some of the historical development behind this technology, some of the key features of GPT-3, and discuss the machine learning model and the datasets used. We survey both academic and commercial efforts applying GPT-3 in diverse domains such as developing conversational AI chatbots, software development, creative work, domain knowledge, and business productivity. We discuss some of the challenges that GPT-3 faces such as the problems of training complexity, bias, and hallucination/incorrect answers. We also discuss the future research opportunities in this area.

연구 동기 및 목표

• GPT-3의 개발, 아키텍처, 능력에 대한 종합적인 소개를 제공하는 것.
• 자연어 처리 작업, 소프트웨어 개발, 창의적 작업 등 다양한 응용 분야에서의 성능 분석.
• 환각, 편향, 환경적 영향과 같은 핵심 과제를 특정하고 논의하는 것.
• GPT-3의 오용에 따른 영향과 규제 및 감시 프레임워크의 필요성 탐색.
• 대규모 언어 모델의 안전성, 공정성, 지속 가능성 향상을 위한 향후 연구 방향 개선

제안 방법

• GPT-1과 GPT-2에서의 GPT-3의 진화를 검토하며, 아키텍처의 발전과 파라미터 수의 증가를 강조한다.
• Common Crawl, WebText2, Books2, 위키백과를 포함한 훈련 데이터를 분석하며, 총 약 5000억 토큰의 데이터를 확보한다.
• OpenAI 플레이그라운드와 API를 통해 GPT-3의 추론 모드(완성, 삽입, 편집)를 분석하며, 온도 및 최대 길이와 같은 파라미터 조정을 포함한다.
• NLP 벤치마크와 실제 응용 분야에서의 GPT-3 성능 평가를 통해 제로샷 및 피셔샷 프롬프팅 성능을 분석한다.
• API 접근을 통한 피지컬 튜닝 능력 검토를 통해, 효과적인 적응을 위해 최소 1000개의 인스턴스가 필요하다고 지적한다.
• 성별, 인종, 종교 편향에 대한 실증 연구를 바탕으로 윤리적 우려를 검토하며, 훈련 및 추론 과정에서의 에너지 소비도 분석한다.

실험 결과

연구 질문

• RQ1 GPT-3의 아키텍처와 훈련 데이터는 제로샷 및 피셔샷 자연어 처리 작업에서의 성능에 어떻게 기여하는가?
• RQ2 환각, 편향, 에너지 소비 측면에서 GPT-3의 주요 한계는 무엇인가?
• RQ3 성별, 인종, 종교와 같은 디모그래픽 편향은 GPT-3의 생성 출력에 어떻게 나타나는가?
• RQ4 GPT-3는 하류 작업에 대해 얼마나 효과적으로 피지컬 튜닝이 가능한가? 그리고 이를 위해 필요한 데이터 요구사항은 무엇인가?
• RQ5 GPT-3의 공개 접근성은 오용, 표절, 규제 감시의 필요성에 어떤 영향을 미치는가?

주요 결과

• GPT-3는 1750억 파라미터와 약 5000억 토큰의 훈련 데이터를 바탕으로 텍스트 완성 및 요약과 같은 여러 자연어 처리 작업에서 최고 성능을 기록했다.
• 모델은 피지컬 튜닝 없이도 강력한 제로샷 능력을 보였으며, 8개의 언어 모델링 작업 중 7개에서 전용 모델보다 뛰어난 성능을 보였다.
• GPT-3는 심각한 성별 편향을 보이며, 여성 캐릭터에 대해 가정과 감정과 관련된 전형적인 서사를 더 자주 생성하는 반면, 남성 캐릭터는 전쟁, 범죄, 정치와 연결된다.
• 인종 편향이 확인되었으며, 의료 질의 응답 작업에서 흑인 환자에게는 백인 환자보다 3.6% 더 높은 확률로 통증 치료 거부를 보였다.
• 종교 편향이 나타났으며, '무슬림'이라는 용어는 생성된 응답에서 폭력적 또는 부정적인 연관성을 더 자주 유도했다.
• GPT-3의 훈련 및 추론 과정은 매우 에너지 집약적이며, 환경적 우려를 불러일으키며 더 효율적인 모델 아키텍처 개발의 필요성을 제기한다.