[論文レビュー] A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks

Nikunj Saunshi, Sadhika Malladi+1 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 49被引用数 14

ひとこと要約

この論文は、大規模コーパスで事前学習された自己回帰的言語モデルが、下流の分類タスクにうまく一般化する理由について理論的根拠を提供する。最適な言語モデリングが線形分類に適した特徴を生み出すことを示し、ϵ-最適なモデルはO(ϵ)-良い特徴をもたらす。実験と線形タスクのパフォーマンスを向上させる変更された目的関数により、これを検証する。

ABSTRACT

Autoregressive language models pretrained on large corpora have been successful at solving downstream tasks, even with zero-shot usage. However, there is little theoretical justification for their success. This paper considers the following questions: (1) Why should learning the distribution of natural language help with downstream classification tasks? (2) Why do features learned using language modeling help solve downstream tasks with linear classifiers? For (1), we hypothesize, and verify empirically, that classification tasks of interest can be reformulated as next word prediction tasks, thus making language modeling a meaningful pretraining task. For (2), we analyze properties of the cross-entropy objective to show that ϵ-optimal language models in cross-entropy (log-perplexity) learn features that are O(ϵ)-good on natural linear classification tasks, thus demonstrating mathematically that doing well on language modeling can be beneficial for downstream tasks. We perform experiments to verify assumptions and validate theoretical results. Our theoretical insights motivate a simple alternative to the cross-entropy objective that performs well on some linear classification tasks.

研究の動機と目的

• ゼロショットの下流分類タスクにおける言語モデルの経験的成功の理論的根拠を提供すること。
• 自然言語の分布を学習することで、分類タスクのパフォーマンスが向上する理由を調査すること。
• 交差エントロピー言語モデリングによって学習された特徴が、線形分類のサポートをどのように行うかを分析すること。
• 理論的主張を実証的実験で検証し、線形タスクのパフォーマンスを向上させる修正された目的関数を提案すること。

提案手法

• 下流分類タスクを次単語予測タスクに再定式化することで、言語モデリングを事前学習目的として正当化すること。
• 交差エントロピー目的関数を分析し、ϵ-最適な言語モデルが線形分類に適したO(ϵ)-良い特徴を学習することを示すこと。
• 対数パープレキシティ（交差エントロピー）最適化に基づいて、特徴品質に関する理論的境界を導出すること。
• 線形分類タスクのパフォーマンスを向上させるために、修正された目的関数を設計・評価すること。
• 実証的実験を通じて、特徴品質および一般化に関する理論的仮定と予測の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 下流分類タスクを次単語予測タスクに再定式化できるか。これにより、言語モデリングを事前学習目的として正当化できるか？
• RQ2 言語モデリングでϵ-最適性を達成すると、どの程度線形分類に適した特徴が得られるか？
• RQ3 交差エントロピー目的関数は、下流の線形分類タスクにおける特徴品質とどのように関係するか？
• RQ4 理論的洞察から導出された修正された目的関数は、線形分類ベンチマークでのパフォーマンスを向上させることができるか？

主な発見

• 下流分類タスクを次単語予測タスクに再定式化でき、言語モデリングを事前学習目的として理論的根拠を提供する。
• 対数パープレキシティ（交差エントロピー）においてϵ-最適な言語モデルは、自然な線形分類タスクに適したO(ϵ)-良い特徴を学習する。
• 理論的分析により、交差エントロピー損失を最小化することで、下流の線形分類に適した特徴表現が得られることを示した。
• 実証的実験により、理論的仮定が妥当であり、提案された修正された目的関数が線形分類タスクにおける有効性を示した。
• 理論的洞察から導出された修正された目的関数は、標準的な交差エントロピーと比較して、特定の線形分類ベンチマークでより高いパフォーマンスを達成した。