[論文レビュー] Neural Theorem Provers Do Not Learn Rules Without Exploration

Michiel de Jong, Fei Sha|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 21被引用数 5

ひとこと要約

この論文は、神経的定理プローバー（NTP）が、勝者全員獲得戦略に起因する最適化の問題により、論理的規則を効果的に学習できないことを示している。上位k個の証明経路を1つの最高得点のものに限定するのではなく、保持することで単純な探索ヒューリスティクスを導入することにより、著者らは規則学習のパフォーマンスを著しく向上させた。これは、神経的記号的モデルにおける効果的な論理的誘導のためには探索が不可欠であることを示している。

ABSTRACT

Neural symbolic processing aims to combine the generalization of logical learning approaches and the performance of neural networks. The Neural Theorem Proving (NTP) model by Rocktaschel et al (2017) learns embeddings for concepts and performs logical unification. While NTP is promising and effective in predicting facts accurately, we have little knowledge how well it can extract true relationship among data. To this end, we create synthetic logical datasets with injected relationships, which can be generated on-the-fly, to test neural-based relation learning algorithms including NTP. We show that it has difficulty recovering relationships in all but the simplest settings. Critical analysis and diagnostic experiments suggest that the optimization algorithm suffers from poor local minima due to its greedy winner-takes-all strategy in identifying the most informative structure (proof path) to pursue. We alter the NTP algorithm to increase exploration, which sharply improves performance. We argue and demonstate that it is insightful to benchmark with synthetic data with ground-truth relationships, for both evaluating models and revealing algorithmic issues.

研究の動機と目的

• 神経的定理プローバー（NTP）が、単に事実を正確に予測するのではなく、データから真の論理的関係を効果的に学習できるかどうかを評価すること。
• 合成データセットにおける真の関係性を備えた設定でも、NTPが事実予測精度は高いにもかかわらず、なぜ規則学習に失敗するのかを診断すること。
• 最適化の改善を図る単純な修正を提案し、NTPにおける探索を強化することで、劣悪な局所最適解を回避すること。
• 神経的記号的モデルにおける規則学習パフォーマンスの評価のためのベンチマークとして、埋め込み可能な真の規則を備えた合成データセットを確立すること。

提案手法

• 複雑さを変化させた（例：規則数、関係強度、順序、サイズなど）埋め込み可能な真の規則を備えた合成論理データセットを作成する。
• 微分可能な論理学習を用いてNTPをこれらのデータセットで訓練し、事実予測精度と規則学習パフォーマンスの両方を測定する。
• 上位k個の証明経路（例：上位2つすべての経路）を1つの最高得点の経路に限定するのではなく、保持するように変更したNTPアルゴリズムを実装する。これにより探索が可能になる。
• ビームサーチに類似したヒューリスティクスを適用し、最適化中に複数の候補証明経路を維持することで、劣悪な経路への過早収束を防ぐ。
• 再現率、PR-AUC、MRR、ROC-AUCなどの指標を用いて、規則学習および事実予測タスクの両方でパフォーマンスを評価する。
• パラメータを変化させたアブレーションスタディを実施し、規則数、関係強度、関係数、K_max（上位k個のプルーニング）を変化させることで、耐性および感度を評価する。

実験結果

リサーチクエスチョン

• RQ1 NTPは、関係性が既知の合成データセットにおいて、高い事実予測精度を示しても、真の論理的規則を効果的に回復できるか？
• RQ2 NTPが規則学習に失敗する原因は何か？これはモデルアーキテクチャの問題か、最適化ダイナミクスの問題か？
• RQ3 NTPの証明経路選択における勝者全員獲得戦略が、トレーニング中に劣悪な局所最適解を引き起こす仕組みは何か？
• RQ4 複数の低得点の証明経路を保持する探索を導入することで、NTPにおける規則学習パフォーマンスが著しく向上するか？
• RQ5 規則の複雑さ、関係強度、関係数といった要因が、標準的NTPおよび探索的NTPの両方のパフォーマンスに与える影響は何か？

主な発見

• NTPは高い事実予測精度（例：ROC-AUC > 0.92）を達成するが、特に非自明な設定では規則学習に失敗し、サイズ2の単項関係では再現率が0.02にまで低下する。
• 基本NTPモデルは、誤った証明経路が初期の高い支持スコアにより強化されるため、貪欲な勝者全員獲得戦略に起因する最適化の悪さに苦しんでいる。
• 上位2つすべての経路を保持するヒューリスティクスを導入することで、サイズ2の単項関係では再現率が0.02から0.92に上昇し、PR-AUCも0.39から0.95に上昇する。
• 探索ヒューリスティクスは、関係強度が低い場合（例：p_r = 0.7）でも強いパフォーマンスを維持し、再現率は0.44（基本モデルでは0.04）を記録する。
• 同じタイプの関係を2つ追加すると、基本モデルのパフォーマンスは著しく低下する（再現率が0.62から0.38に低下）。一方、探索モデルは高い再現率（2つの関係がある場合でも0.63）を維持する。
• K_maxハイパーパrameter（上位k個のプルーニング）はパフォーマンスにほとんど影響しないことから、根本的な問題はプルーニングの深さではなく、探索戦略にあると示唆される。