[논문 리뷰] PaLM 2 Technical Report

Rohan Anil, Andrew M. Dai외 126명|arXiv (Cornell University)|2023. 05. 17.

Topic Modeling인용 수 159

한 줄 요약

tldr: PaLM 2는 PaLM에 비해 다국어 처리, 추론 및 효율성 측면에서 개선된 Transformer 기반의 언어 모델이며, 전 pre-training 목표의 혼합, 다국어 데이터, 그리고 독성에 대한 추론 시간 제어를 특징으로 한다.

ABSTRACT

We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.

연구 동기 및 목표

• PaLM 2를 활용한 영어 및 다국어 작업 전반에서 최첨단 언어 모델링의 시연한다.
• 성능과 효율성에 미치는 데이터 믹스의 영향과 스케일링 법칙을 평가한다.
• 다양한 데이터 세트에서 다국어 역량, 추론, 코딩, 번역 및 생성 능력을 평가한다.
• 메모리, 독성 제어, 편향을 포함한 책임 있는 AI 측면을 고려한다.
• 후속 연구자들을 위한 설계 고려사항, 학습 데이터 및 평가 방법론을 기술한다.

제안 방법

• UL2에서 영감을 얻은 조정된 사전 학습 목표의 혼합을 갖춘 Transformer 기반 아키텍처를 사용한다.
• 웹, 도서, 코드, 수학 및 병렬 다국어 데이터를 포함한 다양하고 다국어인 사전 학습 코퍼스에서 학습한다.
• FLOPs 예산에 따라 최적의 모델 크기와 데이터 요구량을 추정하기 위한 compute-optimal 스케일링 분석을 적용한다.
• 언어 능력 시험, 분류/질의응답, 추론, 코딩, 번역 및 생성 벤치마크에서 평가한다.
• 다른 능력을 해치지 않으면서 독성 제어를 관리하기 위해 추론 시간 제어 토큰을 도입한다.
• 부록(Appendix) 및 D 섹션에서 암기, 편향 및 책임 있는 AI 고려사항에 대한 자세한 분석을 제공한다.

Figure 1: Performance of PaLM 2 and PaLM on the latest available professional language proficiency exams. We used exams for each language to test a C2 (mastery or advanced professional) level proficiency following the CEFR definition. We used the transcripts of the listening portion of the exams and

실험 결과

연구 질문

• RQ1 고정된 컴퓨트에서 데이터 크기와 모델 크기가 PaLM 2의 성능 최적화를 위해 어떻게 스케일링되는가?
• RQ2 더 다국어적인 사전 학습 혼합이 영어 능력을 해치지 않으면서 다국어 및 영어 성능을 향상시키는가?
• RQ3 PaLM 2의 추론, 코딩, 번역 및 생성 능력이 언어 간에 어떤지, 그리고 PaLM 및 GPT-4와 같은 이전 모델과 어떻게 비교되는가?
• RQ4 현실 세계 작업에서 추론 시간 독성 제어 및 기타 책임 있는 AI 조치의 효과는 얼마나 되는가?
• RQ5 PaLM 2의 사전 학습 데이터의 암기, 편향 및 데이터 세트 스펙트럼의 함의는 무엇인가?

주요 결과

• PaLM 2는 모델 크기에 관계없이 언어, 추론, 번역 및 코딩 작업에서 PaLM보다 우수하다.
• 스케일링 법칙은 고정된 컴퓨트 하에서 최적의 성능을 위해 학습 데이터와 모델 크기를 거의 동일한 비율로 증가시켜야 한다.
• 더 큰 PaLM 2 변형은 다국어 TyDi QA 및 zero-shot/no-context 설정에서 강력한 성과를 달성하며, 특히 자원이 적은 언어에서 그렇다.
• 추론 시간 제어 토큰은 다른 능력에 거의 영향을 주지 않으면서 독성 조절에 효과적일 수 있다.
• PaLM 2는 전문적인 언어 시험과 BIG-Bench Hard 작업에서 견고한 성능을 보여주며, 다국어 및 추론 벤치마크에서 현저한 향상이 있다.

Figure 3: Describing the meaning of a transliterated Persian proverb and its equivalent in several other languages. The Persian proverb is an equivalent of ”No Pain, No Gain” in English. The model is capable of going beyond literal translation and mentions proverbs that are used in the target langua