[論文レビュー] Compositional Processing Emerges in Neural Networks Solving Math Problems

Jacob Russin, Roland Fernandez+5 more|arXiv (Cornell University)|May 19, 2021

Natural Language Processing Techniques参考文献 13被引用数 21

ひとこと要約

この論文は、ニューラルネットワークが数学的問題を構成的処理（式を部分式に分解し、それらの値を計算して、順序の法則などの規則に従って組み合わせる）によって解いているかどうかを調査している。数学データセットで訓練されたトランスフォーマーにおける活性化解析の結果、演算子の位置に部分結果の表現が顕在することを強く示唆しており、モデルが構成的意味論を明示的なアーキテクチャ的設計なしに暗黙的に学習・適用していることがわかった。

ABSTRACT

A longstanding question in cognitive science concerns the learning mechanisms underlying compositionality in human cognition. Humans can infer the structured relationships (e.g., grammatical rules) implicit in their sensory observations (e.g., auditory speech), and use this knowledge to guide the composition of simpler meanings into complex wholes. Recent progress in artificial neural networks has shown that when large models are trained on enough linguistic data, grammatical structure emerges in their representations. We extend this work to the domain of mathematical reasoning, where it is possible to formulate precise hypotheses about how meanings (e.g., the quantities corresponding to numerals) should be composed according to structured rules (e.g., order of operations). Our work shows that neural networks are not only able to infer something about the structured relationships implicit in their training data, but can also deploy this knowledge to guide the composition of individual meanings into composite wholes.

研究の動機と目的

• 数学的単語問題の訓練を受けたニューラルネットワークが、人間の認知に類似した暗黙の構成的意味論を学習・適用しているかどうかを調査すること。
• モデルが算術式を部分式に分解し、それらの値を計算して、順序の法則のような構造的規則に従って組み合わせるかどうかを特定すること。
• 標準的なトランスフォーマーおよびTP-トランスフォーマーにおいて、構成的性を明示的にサポートするアーキテクチャ的設計がなくても、構成的処理がどのように顕在するかを評価すること。
• 学習された表現が、特に演算子の位置において部分結果をどの程度エンコードしているかを評価すること。
• 顕在的構成的性がニューラルネットワークにおける一般化および体系的推論に与える影響を理解すること。

提案手法

• 数学データセット（11200万件の数学的単語問題を含む複数の分野）で標準的なトランスフォーマーおよびTP-トランスフォーマーを訓練した。
• 表現プローブを実施し、入力シーケンス全体における隠れ状態の活性化を分析することで、部分結果（例：'4*5' の値 20）がいつ・どこにエンコードされているかを特定した。
• 隠れ状態と期待される部分結果（例：'4*5' に対して 20）との間の相関分析を用い、部分式の値と整合する表現を同定した。
• 演算子の位置に注目し、それらが被演算子の和や積の結果をどのようにエンコードしているかを検証した。
• 入力シーケンス全体にわたって相関を再計算し、成分記号（数字や演算子）が部分式の値に関する情報をどの程度保持しているかを評価した。
• 標準的なトランスフォーマーとTP-トランスフォーマーの結果を比較し、テンソル積表現が構成的学習に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 数学的問題の訓練を受けたニューラルネットワークが、人間の認知に類似した暗黙の部分式への分解と値の計算という構成的処理を学習・適用しているか？
• RQ2 トランスフォーマーの隠れ状態に、特に演算子の位置において部分結果の表現がエンコードされているか？
• RQ3 標準的なトランスフォーマーとTP-トランスフォーマーは、構成的意味論の表現能力においてどの程度異なるか？
• RQ4 部分結果の表現が存在することは、分布外の問題における一般化の向上と相関しているか？
• RQ5 ニューラルネットワークにおける顕在的構成的処理は、体系的推論および組み合わせ的一般化と結びついているか？

主な発見

• 標準的およびTP-トランスフォーマーの両モデルにおいて、演算子の位置における隠れ状態表現が部分式の数値的値と強く相関しており、例として '4*5+2*3' に対してTP-トランスフォーマーで r = 0.47 の相関が観察された。
• 成分記号（数字や演算子）の表現に対しても、部分式の値に関する情報が保持されており、部分結果の相関はTP-モデルで r = 0.201、標準モデルで r = 0.189 であった。
• 隠れ状態と部分結果の相関は演算子の位置でピークに達しており、これらの位置が中間計算の結果をエンコードしていることが示された。
• 構成的処理の強力な証拠がある一方で、相関は完全ではなく、表現が数量以上の情報を含んでいる可能性（構成的構造や文脈など）を示唆している。
• 外挿タスク（例：より大きな数値、より多くの項）では一般化が著しく劣っているため、顕在的構成的性は不完全であり、完全な体系的一般化には不十分であることが示された。
• 結果から、構成的性は、構成的性を明示的にサポートするアーキテクチャ的設計がなくても、多様なデータに対する大規模な学習によってニューラルネットワークに顕在することがわかった。