[논문 리뷰] A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks

Nikunj Saunshi, Sadhika Malladi외 1명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 49인용 수 14

한 줄 요약

이 논문은 대규모 문장 집합에서 미리 훈련된 자동회귀 언어 모델이 다운스트림 분류 작업으로 일반화하는 데 성공하는 이유에 대한 이론적 근거를 제공한다. 최적의 언어 모델링이 선형 분류에 적합한 특징을 유도함을 보이며, ϵ-최적 모델은 O(ϵ)-좋은 특징을 제공함을 보여주고, 실험과 선형 작업 성능을 향상시키는 수정된 목적함수를 통해 이를 검증한다.

ABSTRACT

Autoregressive language models pretrained on large corpora have been successful at solving downstream tasks, even with zero-shot usage. However, there is little theoretical justification for their success. This paper considers the following questions: (1) Why should learning the distribution of natural language help with downstream classification tasks? (2) Why do features learned using language modeling help solve downstream tasks with linear classifiers? For (1), we hypothesize, and verify empirically, that classification tasks of interest can be reformulated as next word prediction tasks, thus making language modeling a meaningful pretraining task. For (2), we analyze properties of the cross-entropy objective to show that ϵ-optimal language models in cross-entropy (log-perplexity) learn features that are O(ϵ)-good on natural linear classification tasks, thus demonstrating mathematically that doing well on language modeling can be beneficial for downstream tasks. We perform experiments to verify assumptions and validate theoretical results. Our theoretical insights motivate a simple alternative to the cross-entropy objective that performs well on some linear classification tasks.

연구 동기 및 목표

• 언어 모델이 제로샷 다운스트림 분류 작업에서 성공하는 이유에 대한 이론적 근거를 제공하는 것.
• 자연어 분포를 학습함으로써 분류 작업 성능이 향상되는 이유를 탐구하는 것.
• 교차 엔트로피 언어 모델링을 통해 학습된 특징이 선형 분류에 어떻게 기여하는지 분석하는 것.
• 이론적 주장의 검증을 위해 실증 실험을 수행하고 선형 작업 성능 향상을 위한 수정된 목적함수를 제안하는 것.

제안 방법

• 다운스트림 분류 작업을 다음 단어 예측 작업으로 재정의하여 언어 모델링을 미리 훈련 목적함수로 정당화하는 것.
• 교차 엔트로피 목적함수를 분석하여 ϵ-최적 언어 모델이 선형 분류에 적합한 O(ϵ)-좋은 특징을 학습함을 보이는 것.
• 로그 퍼플렉서티(교차 엔트로피) 최적화를 바탕으로 특징 품질에 대한 이론적 경계를 도출하는 것.
• 선형 분류 작업 성능 향상을 위한 수정된 목적함수를 설계하고 평가하는 것.
• 실증 실험을 통해 특징 품질과 일반화에 대한 이론적 가정과 예측을 검증하는 것.

실험 결과

연구 질문

• RQ1 다운스트림 분류 작업을 다음 단어 예측 작업으로 재정의할 수 있는가? 이를 통해 언어 모델링이 미리 훈련 목적함수로 정당화될 수 있는가?
• RQ2 언어 모델링에서 ϵ-최적성을 달성할 경우, 그로 인해 선형 분류에 적합한 특징이 얼마나 도출되는가?
• RQ3 교차 엔트로피 목적함수는 다운스트림 선형 분류 작업의 특징 품질과 어떤 관련이 있는가?
• RQ4 이론적 통찰에서 유도된 수정된 목적함수는 선형 분류 벤치마크 성능 향상에 기여하는가?

주요 결과

• 다운스트림 분류 작업을 다음 단어 예측 작업으로 재정의할 수 있으며, 이는 언어 모델링을 미리 훈련 목적함수로 정당화하는 이론적 근거를 제공한다.
• 교차 엔트로피(로그 퍼플렉서티) 기반 ϵ-최적 언어 모델은 자연적인 선형 분류 작업에 대해 O(ϵ)-좋은 특징을 학습한다.
• 이론적 분석을 통해 교차 엔트로피 손실 최소화가 다운스트림 선형 분류에 적합한 특징 표현을 이끌어냄을 보여준다.
• 실증 실험을 통해 이론적 가정이 검증되었으며, 제안된 수정된 목적함수가 선형 분류 작업에서 효과적임을 입증한다.
• 이론적 통찰에서 도출된 수정된 목적함수는 표준 교차 엔트로피 대비 일부 선형 분류 벤치마크에서 향상된 성능을 달성한다.