[論文レビュー] LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning

Yuhuai Wu, Markus N. Rabe+4 more|arXiv (Cornell University)|Jan 15, 2021

Neural Networks and Applications参考文献 51被引用数 9

ひとこと要約

本稿では、ピアーシーの推論原形（演繹、帰納、帰謬）にインspiredされた3つの合成タスクにTransformerを訓練することで、数学的推論のための帰納的バイアスを組み込む、新しい事前学習手法LIMEを提案する。この手法は、最小限の計算コストで4つの数学的推論ベンチマークで顕著な性能向上を達成し、vanillaなTransformerを上回り、LSTMのような非Transformerアーキテクチャに対しても汎用性を示す。

ABSTRACT

While designing inductive bias in neural architectures has been widely studied, we hypothesize that transformer networks are flexible enough to learn inductive bias from suitable generic tasks. Here, we replace architecture engineering by encoding inductive bias in the form of datasets. Inspired by Peirce's view that deduction, induction, and abduction are the primitives of reasoning, we design three synthetic tasks that are intended to require the model to have these three abilities. We specifically design these tasks to be synthetic and devoid of mathematical knowledge to ensure that only the fundamental reasoning biases can be learned from these tasks. This defines a new pre-training methodology called "LIME" (Learning Inductive bias for Mathematical rEasoning). Models trained with LIME significantly outperform vanilla transformers on four very different large mathematical reasoning benchmarks. Unlike dominating the computation cost as traditional pre-training approaches, LIME requires only a small fraction of the computation cost of the typical downstream task. The code for generating LIME tasks is available at https://github.com/tonywu95/LIME.

研究の動機と目的

• 数学的推論のための帰納的バイアスが、アーキテクチャの設計ではなく、合成データセットによる事前学習によって学習可能かどうかを調査すること。
• 従来の事前学習手法が、大規模な自然言語コーパスに依存しており、下流タスクの計算コストを圧倒的に増加させるという限界を是正すること。
• 演繹、帰納、帰謬という推論原形を合成タスクを通じて学習することで、数学的推論ベンチマークにおける一般化性能が向上するかどうかを調査すること。
• 事前学習の貢献を、コンテンツ知識と帰納的バイアスに明確に分離すること、特に推論タスクの文脈において。
• 事前学習において語彙埋め込みや出力層重みを読み込まずに、クロスボキャブラリーへの転送が可能であることを示すこと。

提案手法

• ピアーシーの3つの推論原形に対応する合成タスクを設計：演繹（前提から結論を導出）、帰納（例から規則を一般化）、帰謬（証拠と規則から説明を推測）。
• 数学的知識を含まないタスクを構築し、論理的構造にのみ焦点を当てることで、モデルが基本的な推論の帰納的バイアスを学習することを保証する。
• 標準的なTransformerモデルを、1つのGPUで約2時間の最小限の計算コストで、これらの合成タスクに事前学習させる。
• 同じ事前学習済みモデルを、語彙埋め込みや出力層を再初期化せずに、多様な下流の数学的推論ベンチマークに適用する。
• カリキュラム学習の原則に従い、まず基本的な推論スキルを学習した後、ドメイン固有のタスクに微調整する。
• IsarStep、HOList Skip-tree、MetaMathStep、LeanStepの4つのベンチマークで性能を評価し、スクラッチ学習や標準的な事前学習ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 数学的推論のための帰納的バイアスが、アーキテクチャの変更ではなく、合成データセットの形で効果的に符号化可能かどうか。
• RQ2 演繹、帰納、帰謬を模倣する合成推論タスクに事前学習させることで、下流の数学的推論性能に測定可能な向上が見られるか。
• RQ3 LIME事前学習が、従来の事前学習手法の計算コストのほんの一部で顕著な向上を達成できるか。
• RQ4 LIMEの利点が、LSTMのような非Transformerアーキテクチャに対しても転送可能かどうか。
• RQ5 LIMEによる性能向上の主な要因が、事前学習データのコンテンツを記憶することではなく、帰納的バイアスを学習することに起因する程度はどの程度か。

主な発見

• IsarStepでは、トップ1正解率が20.4%から26.9%に上昇し、相対的な改善率は31.9%に達した。
• LeanStepでは、トップ1正解率が15.5%から29.8%に上昇し、相対的な改善率は92.3%に達した。
• この手法は、1つのGPUで約2時間の訓練で実現可能であり、下流タスクの計算コストのほんのわずかな割合にとどまった。
• 微調整時に語彙埋め込みや出力層重みを読み込んでも、性能に顕著な向上は見られず、モデルがタスク固有の知識ではなく、一般化された帰納的バイアスを学習していることが示された。
• LIMEはLSTMに対しても性能向上をもたらしたが、その向上はやや小さい：vanilla LSTMではトップ1正解率が5.5%から6.9%に、注意機構付きLSTMでは12.3%から13.4%に上昇した。これは、Transformerアーキテクチャが合成タスクからより強力な帰納的バイアスを学習できる能力を有していることを示唆している。
• 結果から、Transformerアーキテクチャはデータ設計によって強い帰納的バイアスを学習できるほど柔軟であることが示され、帰納的バイアスがアーキテクチャではなくデータによって符号化可能であるという仮説を支持する。