[論文レビュー] Compositional Generalization via Neural-Symbolic Stack Machines

Xinyun Chen, Liang, Chen+3 more|arXiv (Cornell University)|Aug 15, 2020

Natural Language Processing Techniques参考文献 49被引用数 8

ひとこと要約

この論文では、構成的汎化を達成するために、シーケンス操作を伴う記号的スタックマシンを制御する微分可能なニューラルネットワークであるNeural-Symbolic Stack Machines (NeSS) を提案する。操作的同等性とカリキュラム学習を活用することで、訓練時に真の実行トレースを必要とせず、4つのベンチマーク（SCAN、少数ショット構成的指示学習、構成的機械翻訳、文脈自由文法解析）で100%の汎化性能を達成する。

ABSTRACT

Despite achieving tremendous success, existing deep learning models have exposed limitations in compositional generalization, the capability to learn compositional rules and apply them to unseen cases in a systematic manner. To tackle this issue, we propose the Neural-Symbolic Stack Machine (NeSS). It contains a neural network to generate traces, which are then executed by a symbolic stack machine enhanced with sequence manipulation operations. NeSS combines the expressive power of neural sequence models with the recursion supported by the symbolic stack machine. Without training supervision on execution traces, NeSS achieves 100% generalization performance in four domains: the SCAN benchmark of language-driven navigation tasks, the task of few-shot learning of compositional instructions, the compositional machine translation benchmark, and context-free grammar parsing tasks.

研究の動機と目的

• 深層学習モデルの構成的汎化における限界、すなわち既知の要素の未知の組み合わせに対して一般化に失敗することを解決すること。
• 再帰とシーケンス操作をサポートする神経記号的アーキテクチャを構築し、言語的および構造的規則の体系的組み合わせを可能にすること。
• 実行トレースの教師信号なしにモデルを訓練するため、操作的同等性とカリキュラム学習スキームを導入すること。
• 言語-行動、機械翻訳、文法解析タスクを含む、多様な構成的推論ベンチマークで最先端の汎化性能を達成すること。

提案手法

• NeSSは、SHIFT、REDUCE、PUSH、POP、CONCAT_M、CONCAT_S、FINAL などのシーケンス操作を拡張した記号的スタックマシンとニューラルネットワークコントローラーを統合する。
• スタックマシンは再帰とシーケンス対シーケンス生成をサポートし、言語的コンポーネントのモジュラー処理とその組み合わせを可能にする。
• 操作的同等性は、類似した実行トレースに基づき、意味的に類似したコンポーネント（例：'jump' と 'run'）をグループ化することで、汎化性能を向上させる。
• カリキュラム学習スキームは、最初に短く単純なトレースを学習し、徐々に複雑さを増すことで、長大で複雑なシーケンスの正しいトレース生成をニューラルコントローラーに学習させる。
• モデルは真の実行トレースを必要とせず、トレース予測と操作的同等性に基づく監視によってエンドツーエンドで訓練される。
• 記号的スタックマシンは予測されたトレースを実行して出力を生成し、ニューラルコントローラーは正しい操作シーケンスを生成するように学習する。

実験結果

リサーチクエスチョン

• RQ1 実行トレースの教師信号なしに、神経記号的アーキテクチャが構成的推論タスクで100%の汎化を達成できるか？
• RQ2 言語的コンポーネント間の操作的同等性をどのように形式化すれば、未知の組み合わせへの汎化を向上させられるか？
• RQ3 カリキュラム学習は、長大で複雑なシーケンスの正しい実行トレースを生成するニューラルコントローラーを効果的に訓練できるか？
• RQ4 シーケンス操作を備えた記号的スタックマシンは、標準的なニューラルシーケンスモデルに比べて、構成的NLPタスクにおける汎化能力をどの程度超えるか？

主な発見

• NeSSは、テストセットに訓練時のコンポーネントの未知の組み合わせが含まれる場合でも、SCANベンチマークで100%の汎化性能を達成する。
• 少数ショット構成的指示学習タスクでは、新しい指示タイプのファインチューニングなしに、完全な汎化を達成する。
• 構成的機械翻訳では、100%の正確さで未知のソース-ターゲットフレーズの組み合わせに一般化する。
• 文脈自由文法解析では、ニューラルパーサー・モデルと同等の性能を示すが、より広範な適用範囲をサポートする。
• 真の実行トレースを必要とせず、操作的同等性とカリキュラム学習にのみ依存して、効果的な汎化が可能である。
• 先行する神経記号的モデルとは異なり、事前定義されたメタ文法空間や推論時の探索を必要としないため、効率性とスケーラビリティが向上する。