[논문 리뷰] Predictability and Surprise in Large Generative Models

Deep Ganguli, Danny Hernandez외 28명|arXiv (Cornell University)|2022. 02. 15.

Scientific Computing and Data Management인용 수 22

한 줄 요약

이 논문은 대형 생성 모델이 규모에 따라 매끄러운 일반 역량 확장을 예측 가능하게 보이지만, 특정 역량과 출력은 급격히 나타나고 입력/출력은 개방형으로 남아 배포 위험을 초래하며 정책 개입에 정보를 제공한다.

ABSTRACT

Large-scale pre-training has recently emerged as a technique for creating capable, general purpose, generative models such as GPT-3, Megatron-Turing NLG, Gopher, and many others. In this paper, we highlight a counterintuitive property of such models and discuss the policy implications of this property. Namely, these generative models have an unusual combination of predictable loss on a broad training distribution (as embodied in their "scaling laws"), and unpredictable specific capabilities, inputs, and outputs. We believe that the high-level predictability and appearance of useful capabilities drives rapid development of such models, while the unpredictable qualities make it difficult to anticipate the consequences of model deployment. We go through examples of how this combination can lead to socially harmful behavior with examples from the literature and real world observations, and we also perform two novel experiments to illustrate our point about harms from unpredictability. Furthermore, we analyze how these conflicting properties combine to give model developers various motivations for deploying these models, and challenges that can hinder deployment. We conclude with a list of possible interventions the AI community may take to increase the chance of these models having a beneficial impact. We intend this paper to be useful to policymakers who want to understand and regulate AI systems, technologists who care about the potential policy impact of their work, and academics who want to analyze, critique, and potentially develop large generative models.

연구 동기 및 목표

• 대형 생성 모델의 네 가지 구별 특징(매끄러운 일반 역량 확장, 급격한 특정 역량 확장, 개방형 입력, 개방형 출력)을 설명한다.
• 확장 법칙이 개발 유인, 배치 동기 및 관련 안전 문제에 어떤 영향을 미치는지 분석한다.
• 예측 불가능성으로 인한 잠재적 해를 새로운 실험과 현실 세계에서 영감을 얻은 사례로 설명한다.
• 모델 개발을 유익한 결과로 이끌 수 있는 정책 개입과 거버넌스 고려사항을 논의한다.]
• method2[]}
• method: [

제안 방법

• 모델 규모, 데이터, 컴퓨트, 손실 간의 멱법칙 관계를 보여주는 확장 법칙 문헌을 검토하고 종합한다.
• 예측 불가능성으로 인한 해를 보여주기 위한 대형 언어 모델에 관한 새로운 실험을 제시한다(예: 재범 가능성 프롬프트).
• 급격한 역량 등장과 개방형 행동의 질적 및 양적 예를 제공한다.
• 모델 규모에 따른 개방형 출력 및 독성 경향을 분석한다.
• 정책 개입을 제안하고 산업-학계 역학 및 배치 장벽을 논의한다.]
• research_questions: [
• 질문이 없습니다
• Does general capability scaling follow predictable laws with scale, data, and compute?
• Do specific capabilities emerge abruptly at certain scales, and under what conditions?
• How do open-ended inputs and outputs affect the anticipation and mitigation of harms from large models?
• What policy and organizational interventions could steer large-model development toward beneficial outcomes?

실험 결과

연구 질문

• RQ1 대형 일반 역량 확장이 규모, 데이터, 컴퓨트와 함께 예측 가능한 법칙을 따르는가?
• RQ2 특정 역량이 특정 규모에서 급격히 나타나며 어떤 조건에서 그런가?
• RQ3 개방형 입력과 출력이 대형 모델의 해를 예측 및 완화하는 데 어떤 영향을 미치는가?
• RQ4 큰 모델 개발을 유익한 방향으로 이끌 정책 및 조직적 개입은 무엇인가?

주요 결과

• 확장 법칙은 더 큰 모델 크기, 더 많은 데이터, 더 긴 학습으로 모델 손실이 감소한다고 예측하며, 이는 멱법칙 관계를 따른다.
• 특정 역량은 규모에서 급격히 나타날 수 있으며, 일반 확장만으로는 보이지 않는 하키-스틱 이득을 보인다.
• 개방형 입력/도메인은 단지 프롬프트될 때에만 알려지지 않은 능력이 나타날 수 있음을 의미하여 해의 예측 불가능성을 증가시킨다.
• 개방형 출력은 모델 규모의 증가와 함께 독성이 증가하는 경향을 포함하여, 역량과 함께 확장되는 사회적으로 중요한 위험을 보여준다.
• 대형 모델은 재범 예측과 같은 민감한 작업에서 기존 위험 도구와 유사하거나 이를 초과하는 편향과 해를 보인다.
• 배치를 촉진하는 경제적, 과학적, 명성 동기가 있으며 비용, 안전성, 배포 표준의 부족과 같은 장벽이 있다.