[논문 리뷰] Understanding the Capabilities, Limitations, and Societal Impact of Large Language Models

Alex Tamkin, Miles Brundage외 2명|arXiv (Cornell University)|2021. 02. 04.

Artificial Intelligence in Healthcare and Education인용 수 130

한 줄 요약

이 논문은 GPT-3 및 대형 언어 모델에 관한 워크숍을 요약하고 기술적 역량, 한계 및 사회적 영향, 미래 연구 방향을 개략적으로 제시합니다.

ABSTRACT

On October 14th, 2020, researchers from OpenAI, the Stanford Institute for Human-Centered Artificial Intelligence, and other universities convened to discuss open research questions surrounding GPT-3, the largest publicly-disclosed dense language model at the time. The meeting took place under Chatham House Rules. Discussants came from a variety of research backgrounds including computer science, linguistics, philosophy, political science, communications, cyber policy, and more. Broadly, the discussion centered around two main questions: 1) What are the technical capabilities and limitations of large language models? 2) What are the societal effects of widespread use of large language models? Here, we provide a detailed summary of the discussion organized by the two themes above.

연구 동기 및 목표

• 대형 언어 모델의 기술적 역량과 한계 및 규모 확장으로의 출현을 평가한다.
• LLMs의 사회적 영향, 배포상의 과제 및 거버넌스 고려사항을 검토한다.
• 모델 목표를 인류의 가치에 맞추고 편향 및 오용을 완화하는 접근법을 탐구한다.
• LLMs의 향후 연구, 협력 및 책임 있는 개발 영역을 식별한다.

제안 방법

• Chatham House Rules 하에 GPT-3 및 LLMs에 관한 다학제적 워크숍의 논의를 요약한다.
• 능력, 한계 및 사회적 영향을 다루기 위해 컴퓨터 과학, 언어학, 철학, 정책 분야의 관점을 합성한다.
• 정식 인용 대신 하이퍼링크를 통해 관련 연구(예: GPT-3 논문, Bender and Gebru)를 참조한다.
• 토론에서 얻은 영감을 바탕으로 잠재적인 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 규모에 따른 급격한 성능 향상의 원인은 무엇이며 어떻게 더 효율적으로 확장할 수 있는가?
• RQ2 인과 추론, 기호 조작 및 견고성 달성에 있어 확장의 한계는 무엇인가?
• RQ3 불확실할 때 도움을 요청하고, 명확히 하고, 기피하는 것을 LLMs가 어떻게 가능하게 만들 수 있는가?
• RQ4 다양한 모드와 맥락에서 outputs를 사람의 가치에 맞추는 방향으로 조정할 때의 트레이드오프는 무엇인가?
• RQ5 다양한 맥락에서 LLM의 안전성과 공정성을 보장하기 위해 어떤 접근 모델과 테스트가 필요한가?

주요 결과

• 모델 규모는 GPT-3에서 관찰된 출현적 능력을 낳으며, 데이터와 파라미터가 증가할수록 전문가들이 빠른 향상을 지적한다.
• 다중모달 학습은 점점 더 중요해 보이며, 언어 작업에 반드시 필요하지는 않지만 학습 가속을 촉진할 수 있다.
• 모델 목표를 인간 가치에 맞추는 일은 도전적이며 더 나은 알고리즘, 거버넌스 및 학문 간 협력이 필요하다.
• 허위정보와 편향은 중요한 문제이며, 완화에는 데이터 선별, 콘텐츠 필터링, 인간 감독 및 테스트의 혼합이 필요하며 보편적인 해결책은 없다.
• 프런티어 모델이 시간이 지날수록 더 쉽게 재현되므로 배포 규범, 접근 제어 및 광범위한 사회적 영향에 대한 주의가 시급하다.