[論文レビュー] On the Paradox of Learning to Reason from Data

Honghua Zhang, Liunian Harold Li+3 more|arXiv (Cornell University)|May 23, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文は、限定された問題空間内で自然言語データから論理的推論を学習できるか、BERTが学習できるかを調査している。分布内例ではほぼ完璧な正確性を達成しているが、同じ問題空間上で他の分布に一般化できないのは、論理的推論関数ではなく、推論問題に内在する統計的パターンを学習しているためである。研究では、このような統計的特徴を除去することが計算的に不可能であることが明らかになった。これは、データから推論を学ぶ際の根本的なジレンマを露呈している。

ABSTRACT

Logical reasoning is needed in a wide range of NLP tasks. Can a BERT model be trained end-to-end to solve logical reasoning problems presented in natural language? We attempt to answer this question in a confined problem space where there exists a set of parameters that perfectly simulates logical reasoning. We make observations that seem to contradict each other: BERT attains near-perfect accuracy on in-distribution test examples while failing to generalize to other data distributions over the exact same problem space. Our study provides an explanation for this paradox: instead of learning to emulate the correct reasoning function, BERT has in fact learned statistical features that inherently exist in logical reasoning problems. We also show that it is infeasible to jointly remove statistical features from data, illustrating the difficulty of learning to reason in general. Our result naturally extends to other neural models and unveils the fundamental difference between learning to reason and learning to achieve high performance on NLP benchmarks using statistical features.

研究の動機と目的

• 神経ネットワークモデル（例：BERT）が、制御された限定的な問題空間内で自然言語データから論理的推論を学習できるかを調査すること。
• 論理的推論タスクにおいて、高い分布内正確性と低い分布外一般化性能というパラドックスを解明すること。
• モデルが正しい推論関数を学習しているのか、それとも推論問題に内在する統計的アーチファクトに依存しているのかを特定すること。
• 訓練データから統計的特徴を除去することで真の推論一般化を可能にするかの可能性を検討すること。
• 論理的推論の例に避けがたい統計的バイアスが存在するため、データから推論を学ぶ際の根本的課題を明らかにすること。

提案手法

• 研究では、固定されたルールと事実を備えた自然言語論理的推論問題から成る、限定された問題空間「SimpleLogic」を用いる。
• BERTは、問題空間全体をカバーする訓練分布で微調整され、分布内性能と他の分布への一般化性能を評価する。
• ラベルとの相関関係を分析するため、ルール数（#rule）、事実数（#fact）、分岐係数（b）といった統計的特徴を評価する。
• 特定の特徴値におけるラベル確率の不均衡を定量化することで、特徴がラベルをどの程度強く予測できるかを評価する。
• 複数の統計的特徴を同時に除去する際の条件付き確率をバランスさせるために必要な例の数を推定するため、サンプリングに基づくアプローチを用いる。
• 分析により、複数の統計的特徴を同時に除去する際の計算コストが、考慮する特徴数の増加に伴い指数関数的に増加することが示された。

実験結果

リサーチクエスチョン

• RQ1 BERTは、限定された問題空間内で、異なるデータ分布にわたって一般化できる論理的推論タスクで高い性能を達成できるか？
• RQ2 BERTはなぜ同じ問題空間上で他の分布に一般化できないのか、分布内正確性はほぼ完璧であるにもかかわらず？
• RQ3 論理的推論問題に内在する統計的特徴（例：#rule や #fact）が、推論そのものではなく、モデルの予測にどの程度影響を与えているか？
• RQ4 複数の統計的特徴を訓練データから除去することで真の推論一般化を実現できるか、計算的に可能か？
• RQ5 自然言語処理ベンチマークにおいて、推論を学ぶことと統計的パターンを活用することの根本的な違いは何か？

主な発見

• BERTは、SimpleLogic問題空間の分布内テスト例において、分布シフトが存在する中でもほぼ完璧な正確性（100％に近い）を達成している。
• 同じ問題空間上で他のデータ分布に一般化できない。これは、正しい推論関数が不変のままでも同様である。
• 統計的特徴（#rule、#fact、分岐係数）はラベルと強く相関しており、例として Pr(label=1 | #rule=58) = 0.991 のように、予測信号として機能している。
• より多くの統計的特徴を組み合わせるほど、Pr(label=1 | X) の条件付き確率がますます不均衡になり、バランスさせるために指数関数的に多くのサンプルが必要になる。
• Pr(label=1 | f=15, b∈[2.65,2.75]) をバランスさせるために必要な最小例数は、#fact を追加すると 5.5× に、分岐係数を追加すると 20.0× に、#rule を追加すると 55.6× にまで増加する。
• 複数の統計的特徴を同時に除去するには、ラベル分布をバランスさせるために必要なサンプリング量が指数関数的に増加するため、計算的に不可能である。