[論文レビュー] Can Neural Networks Learn Symbolic Rewriting?

Bartosz Piotrowski, Josef Urban+2 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 15被引用数 13

ひとこと要約

この論文は、神経機械翻訳（NMT）モデルが、自動定理証明（AIMループ）から得られたデータセットと、合成された多項式正規化データセットの両方を用いて学習することで、記号的書き換えを学習できるかどうかを調査している。限られたモデル容量と短い学習時間にもかかわらず、NMTモデルは驚くべき高い精度（最高で67.7％）を達成しており、ニューラルネットワークが複雑な記号的書き換え規則を学習できることを示している。ただし、一般化性能とデータ漏洩の問題は依然として深刻な懸念事項である。

ABSTRACT

This work investigates if the current neural architectures are adequate for learning symbolic rewriting. Two kinds of data sets are proposed for this research -- one based on automated proofs and the other being a synthetic set of polynomial terms. The experiments with use of the current neural machine translation models are performed and its results are discussed. Ideas for extending this line of research are proposed, and its relevance is motivated.

研究の動機と目的

• 現在のニューラルアーキテクチャ、特にNMTモデルが記号的書き換えタスクを学習できるかどうかを調査すること。
• 自動定理証明（AIMループ）と合成多項式正規化セットの2つの異なる記号的書き換えデータセットにおけるNMTモデルのパフォーマンスを評価すること。
• 定数や符号の変化による重複パターンが学習データに存在する場合の、ニューラルモデルの一般化能力を評価すること、特にデータ漏洩のリスクを考慮して。
• 既存の評価手法の限界を特定し、記号的機械学習分野におけるより厳密な分析手法を提案すること。

提案手法

• 2つのデータセットを構築した：1つはProver9によるAIMループ定理のパラモジュレーション推論から得られ、もう1つはランダムに生成された多項式項を標準形に正規化したものである。
• AIMデータセットには20の独立した書き換え規則（8つは基礎的、12つは非基礎的）が含まれており、項は記号の線形シーケンスとしてトークン化されている。
• 多項式データセットには1セットあたり30万例が含まれており、変数と定数の数が変動し、極端に長いまたは複雑な項を避けるためにフィルタリングされている。
• 実験では、LSTMベースのNMTモデルにスケーリングされたLuongアテンションを用い、60％を学習、10％を検証、30％をテストに使用した。
• 500ユニットのデフォルトOpenNMTモデル（ビームサーチ幅10）も評価したほか、先行研究の大きなTransformerモデルとも比較した。
• データ類似度分析として、定数を'CONST'トークンに置き換え、テスト例と学習セットを比較することで、記憶化や重複の有無を検出した。

実験結果

リサーチクエスチョン

• RQ1 神経機械翻訳モデルは、形式的数学的証明から得たデータから記号的書き換え規則を学習できるか？
• RQ2 学習データに定数の変化による重複パターンが存在する場合、NMTモデルは未観測の記号的式にどの程度一般化できるか？
• RQ3 特に多項式正規化のような合成的記号的ドメインにおいて、モデルのパフォーマンスがデータ構造や分布にどの程度依存するか？
• RQ4 最小限のハイパーパrameterチューニングと短い学習時間で、単純なニューラルモデルが記号的書き換えタスクで高い精度を達成できるか？
• RQ5 記号的機械学習におけるデータ記憶化のリスクは何か？また、それらはどのように検出され、緩和されるべきか？

主な発見

• デフォルトのOpenNMTモデルは、BWD統合データセットで67.7％の精度を達成し、より小さいNMTモデル（18.4％）を著しく上回った。
• Lample & Charton（2020）のTransformerモデルは、同じBWDデータセットでほぼ完璧なパフォーマンス（99.6％）を達成しており、モデルスケールが結果に強く影響することを示唆している。
• IBPデータセットでは、定数と符号を無視した場合、75％のテスト例が学習例と類似していたため、データ漏洩や過学習のリスクが顕在化した。
• 多項式データセットで変数と定数を2から3に増加させた際、パフォーマンスは85.5％から71.8％に低下し、入力の複雑さに敏感であることが示された。
• 分析の結果、最も複雑な多項式データセットでは、定数を除いたモジュロで92％のテスト例が一意であったため、一般化に強い要求が課されていることがわかった。
• 1～2時間という短い学習時間にもかかわらず、モデルは驚くべき高いパフォーマンスを達成しており、限られたリソースでもニューラルネットワークが記号的書き換えを学習できる可能性を示している。