[論文レビュー] ALERT: Adapting Language Models to Reasoning Tasks

Ping Yu, Tianlu Wang+7 more|arXiv (Cornell University)|Dec 16, 2022

Topic Modeling被引用数 9

ひとこと要約

ALERTは、大規模言語モデル（LLM）の微調整による細分化された推論スキルを評価する包括的なベンチマークおよび分析スイートを導入し、特に思考の道筋（Chain-of-Thought）のラベルを用いた微調整が、文章の含意関係、帰納的推論、類推的推論などの推論能力を顕著に向上させることを示している。本研究では、微調整が単なる記憶化を超えて推論能力を向上させることを明らかにしたが、同時にモデルがプロンプトテンプレートに過剰適合し、耐性が低下する傾向があることも示している。

ABSTRACT

Current large language models can perform reasonably well on complex tasks that require step-by-step reasoning with few-shot learning. Are these models applying reasoning skills they have learnt during pre-training and reason outside of their training context, or are they simply memorizing their training corpus at finer granularity and have learnt to better understand their context? To tease apart these possibilities, we introduce ALERT, a benchmark and suite of analyses for assessing language models' reasoning ability comparing pre-trained and finetuned models on complex tasks that require reasoning skills to solve. ALERT provides a test bed to asses any language model on fine-grained reasoning skills, which spans over 20 datasets and covers 10 different reasoning skills. We leverage ALERT to further investigate the role of finetuning. With extensive empirical analysis we find that language models learn more reasoning skills such as textual entailment, abductive reasoning, and analogical reasoning during finetuning stage compared to pretraining state. We also find that when language models are finetuned they tend to overfit to the prompt template, which hurts the robustness of models causing generalization problems.

研究の動機と目的

• 微調整の過程でLLMが推論スキルを習得するのか、それとも単に訓練データを記憶するだけなのかを特定すること。
• 微調整が論理的・因果的・空間的推論などの特定の推論スキルをどの程度向上させるかを評価すること。
• 性能向上の原因がデータ記憶、テンプレート記憶、それとも実際の推論スキル習得にあるのかを診断すること。
• 多様な推論タイプとモデルバリアントに対して、細分化された推論能力を評価可能なベンチマークを開発すること。
• 分布シフトやプロンプトテンプレートの変化に対して、微調整済みモデルの耐性を評価すること。

提案手法

• ALERTは、論理的・因果的・共通知識的・帰納的・空間的・類推的・議論的・演繹的・文章の含意関係・数学的推論の10種類の異なる推論スキルをカバーする20以上のデータセットを含むベンチマークスイートである。
• フレームワークは、任意の言語モデルが推論タスクに対してゼロショット、フェイシング、思考の道筋（CoT）プロンプトを評価可能にサポートする。
• 3種類のモデルタイプを評価対象としている：事前学習済みのOPTモデル、基準回答で微調整されたOPT（OPT-FT）、および推論ラベルが付与されたデータでCoTで微調整されたOPT（OPT-CoT）。
• 微調整データセットと評価データセット間の語彙の重複を分析することで、データ記憶効果を測定する。
• 訓練データに存在しない推論スキルを分離するために、ホールドアウトデータセットを構築し、一般化能力とスキル移転能力の評価を可能にする。
• プロンプトテンプレートを変化させることで耐性をテストし、モデルが特定のテンプレート構造に過剰適合していることが判明した。

実験結果

リサーチクエスチョン

• RQ1 微調整済みLLMが、訓練例やプロンプトテンプレートの記憶を越えて、どの程度新しい推論スキルを習得するのか？
• RQ2 帰納的推論・類推的推論・因果的推論などの特定の推論スキルのうち、微調整後に最も向上が見られるのはどれか？
• RQ3 CoT微調整は標準的な微調整よりも優れた推論パフォーマンスをもたらすのか？また、一般化能力は向上するのか？
• RQ4 推論タスクにおけるパフォーマンス向上の多くが、データ記憶に起因するのか、それとも実際のスキル習得に起因するのか？
• RQ5 プロンプトテンプレートがモデルの行動にどの程度影響を与えるのか？また、テンプレートへの過剰適合が耐性を低下させるのか？

主な発見

• 微調整により、文章の含意関係、帰納的推論、類推的推論など、複数の推論スキルにおいて性能が顕著に向上し、記憶を超えた実際のスキル習得が示された。
• 推論ラベル（rationales）を用いて微調整されたモデル（OPT-CoT）は、標準的な微調整（OPT-FT）よりも優れた推論パフォーマンスを示し、特に複雑で多段階のタスクで顕著だった。
• 性能向上の大部分はデータ記憶に起因しないことが、ホールドアウトデータセットにおける微調整データと評価データの語彙の重複が低いことから裏付けられた。
• モデルはプロンプトテンプレートに強く過剰適合しており、テンプレートを変更すると性能が著しく低下し、耐性の低さが明らかになった。
• テキスト-davinci-003 や ChatGPT といった最先端モデルですら、特定の推論タスクで失敗しており、ALERTのような体系的な評価フレームワークの必要性が浮き彫りになった。
• ベンチマークは、微調整データに含まれない推論スキルに対して、モデルの一般化能力が著しく低いことを明らかにした。特に、微調整データから除外されたスキルに対して顕著だった。