[논문 리뷰] Eight Things to Know about Large Language Models

Samuel R. Bowman|arXiv (Cornell University)|2023. 04. 02.

Natural Language Processing Techniques인용 수 97

한 줄 요약

LLMs에 관한 여덟 가지 놀랍고 증거에 기반한 포인트를 종합한 요약으로, 스케일링 법칙, 출현하는 행태, 표현 학습, 조정의 한계, 해석 가능성의 도전, 성능과 인간 벤치마크 간의 비교, 가치 및 편향, 그리고 짧은 상호작용의 오해의 소지에 주목한다.

ABSTRACT

The widespread public deployment of large language models (LLMs) in recent months has prompted a wave of new attention and engagement from advocates, policymakers, and scholars from many fields. This attention is a timely response to the many urgent questions that this technology raises, but it can sometimes miss important considerations. This paper surveys the evidence for eight potentially surprising such points: 1. LLMs predictably get more capable with increasing investment, even without targeted innovation. 2. Many important LLM behaviors emerge unpredictably as a byproduct of increasing investment. 3. LLMs often appear to learn and use representations of the outside world. 4. There are no reliable techniques for steering the behavior of LLMs. 5. Experts are not yet able to interpret the inner workings of LLMs. 6. Human performance on a task isn't an upper bound on LLM performance. 7. LLMs need not express the values of their creators nor the values encoded in web text. 8. Brief interactions with LLMs are often misleading.

연구 동기 및 목표

• 연구자, 옹호자, 정책입안자 간에 LLM의 시사점에 대해 정보에 기반한 논의를 촉진한다.
• LLM이 확장하는 방식, 어떤 행태가 출현하는지, 그리고 조정 및 해석 가능성의 한계를 요약한다.
• 배포 및 감독과 관련된 윤리, 거버넌스, 안전 관련 고려사항을 강조한다.

제안 방법

• LLM 확장, 출현하는 행태 및 표현 능력에 관한 이전 연구의 증거를 조사하고 종합한다.
• 주장을 뒷받침하기 위해 스케일링 법칙, BIG-Bench 및 관련 연구의 실증 결과를 인용한다.
• 현 시점의 조정, 해석 및 평가 방법의 한계를 논의한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델에 대해 증거로 뒷받침되는 놀라운 주장들은 무엇인가?
• RQ2 스케일링과 투자가 LLM의 능력과 행동에 어떤 영향을 미치는가?
• RQ3 LLM에서의 조정(지향), 해석 가능성, 가치 정렬의 한계는 무엇인가?
• RQ4 현재 LLM 개발 및 배치에서 제기되는 위험과 거버넌스 고려사항은 무엇인가?

주요 결과

• LLMs는 표적화된 혁신 없이도 투자 및 규모 확대에 따라 더 강력해진다.
• 모델이 확장될수록 중요한 일부 LLM 행동은 예측 불가능하게 출현한다.
• LLMs는 어느 정도 외부 세계에 대한 내부 표현을 개발한다.
• 모든 설정에서 LLM의 행동을 보장하는 신뢰할 수 있는 조정 기법은 없다.
• 전문가조차 LLM 내부를 완전히 해석하는 능력이 없다.
• 인간 성능은 LLM 작업에 대한 보편적 상한이 아니다.
• LLMs가 창작성의 가치나 학습 데이터의 가치를 표현할 필요는 없다.
• LLM과의 짧은 상호작용은 그들의 능력에 대해 오해를 줄 수 있다.