[論文レビュー] Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning

Christopher Michael Rytting, David Wingate|arXiv (Cornell University)|Oct 5, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、T5のような大規模言語モデル（LLM）が、物体操作やナビゲーションなどの抽象的テクスト的推論タスクにおいて、少サンプル一般化を可能にする強力な帰納的バイアスとして機能できることを示している。構造的推論データセット上で微調整することで、モデルは合成的学習を示し、新しい状況にまで一般化し、重みに埋め込まれた暗黙の世界知識を通じて人間のような一般化を実現する。

ABSTRACT

Large natural language models (such as GPT-3 or T5) demonstrate impressive abilities across a range of general NLP tasks. Here, we show that the knowledge embedded in such models provides a useful inductive bias, not just on traditional NLP tasks, but also in the nontraditional task of training a symbolic reasoning engine. We observe that these engines learn quickly and generalize in a natural way that reflects human intuition. For example, training such a system to model block-stacking might naturally generalize to stacking other types of objects because of structure in the real world that has been partially captured by the language describing it. We study several abstract textual reasoning tasks, such as object manipulation and navigation, and demonstrate multiple types of generalization to novel scenarios and the symbols that comprise them. We also demonstrate the surprising utility of extit{compositional learning}, where a learner dedicated to mastering a complicated task gains an advantage by training on relevant simpler tasks instead of jumping straight to the complicated task.

研究の動機と目的

• 大規模言語モデル（LLM）が、記号的推論エンジンの訓練に効果的な帰納的バイアスとして機能するかどうかを調査すること。
• 標準的な訓練／テスト分割を超えた一般化を評価すること、特に基数、物体、品詞の一般化を含む。
• 単純な部分タスクを複雑な合成タスクの前に学習することで得られる合成的学習の利点を検討すること。
• LLMが直感的推論を支援する暗黙の世界知識をどの程度エンコードしているかを評価すること。
• LLMが自然言語記述から記号的ルールを学習・一般化できることを示し、接続主義的AIと記号的AIを橋渡しすること。

提案手法

• 物体や状態の記号的操作を含む、抽象的テクスト的推論タスクのスイートに対してT5を微調整すること。
• 補間と外挿を複数の一般化軸でテストするため、体系的な変化を加えた推論データセットを設計すること。
• 単純な部分タスクを複雑な合成タスクに組み合わせる前に学習するカリキュラム学習を実装すること。
• ゼロショットおよび少サンプル評価を用いて、未観測の物体タイプ、関係性、タスク構造への一般化を測定すること。
• 分布外性能を分析することで、ルール学習と合成的推論の能力を評価すること。
• 構造化されたプロンプトとシーケンス・トゥ・シーケンス生成を用いて、自然言語記述を記号的行動にマッピングすること。

実験結果

リサーチクエスチョン

• RQ1 LLMは、記号的推論タスクにおいて、新しい物体タイプや関係性にどの程度一般化できるか？
• RQ2 単純な部分タスクの学習が、複雑な合成推論タスクにおけるパフォーマンスとサンプル効率にどのように寄与するか？
• RQ3 LLMは、異なる推論スキル（例：操作とナビゲーション）を学習・合成して、新しい未観測の合成タスクを解けるか？
• RQ4 事前学習済みLLMの帰納的バイアスは、抽象的推論において人間のような一般化をどの程度支援するか？
• RQ5 体系的な分布シフトが生じた場合、モデルのパフォーマンスはどのように低下するか？これにより、その推論メカニズムの理解がどのように深まるか？

主な発見

• モデルは、物体一般化や基数の外挿を含む複数の軸で強力な少サンプル一般化を達成しており、事前学習済みLLMが提供する頑健な帰納的バイアスを示している。
• 合成的学習は、全タスクを直接学習するのと比較して、サンプル効率と最終パフォーマンスの両方を顕著に向上させた。
• モデルは新しい物体タイプや関係性への自然な一般化を示しており、LLMの重みに埋め込まれた世界知識が直感的推論を支援していると示唆している。
• 未観測のシンボルやルールの組み合わせに対してもパフォーマンスが高く維持されたため、モデルがパターンの記憶ではなく、抽象的で合成的なルールを学習したことが示された。
• モデルの推論行動は人間の直感と一致しており、たとえば言語の構造的パターンから、ブロック積みを他の物体タイプに正しく一般化するなど、構造的パターンに基づいた推論を示した。
• 体系的なデータセット設計により、一般化の正確な測定が可能となり、モデルの推論が分布シフトに対してシンボリック推論と整合的に感受性を示すことが明らかになった。