[論文レビュー] Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

Liang Chen, Jonathan Berant+3 more|arXiv (Cornell University)|Oct 31, 2016

Topic Modeling参考文献 40被引用数 44

ひとこと要約

この論文では、弱い監視のもとでFreebase上で意味解析を実行するために、ニューラルシーケンス・ツー・シーケンスプログラマーとシンボリックLispインタプリタを統合したNeural Symbolic Machine (NSM) フレームワークを紹介する。合成性を実現するためのキーワード変数メモリを活用し、反復的最尤推定を用いたREINFORCEを用いて学習を安定化させることで、特徴工学や完全な監視を一切行わず、WebQuestionsSPで最先端の性能を達成した。

ABSTRACT

Harnessing the statistical power of neural networks to perform language understanding and symbolic reasoning is difficult, when it requires executing efficient discrete operations against a large knowledge-base. In this work, we introduce a Neural Symbolic Machine, which contains (a) a neural "programmer", i.e., a sequence-to-sequence model that maps language utterances to programs and utilizes a key-variable memory to handle compositionality (b) a symbolic "computer", i.e., a Lisp interpreter that performs program execution, and helps find good programs by pruning the search space. We apply REINFORCE to directly optimize the task reward of this structured prediction problem. To train with weak supervision and improve the stability of REINFORCE, we augment it with an iterative maximum-likelihood training process. NSM outperforms the state-of-the-art on the WebQuestionsSP dataset when trained from question-answer pairs only, without requiring any feature engineering or domain-specific knowledge.

研究の動機と目的

• 完全なプログラムアノテーションが高価で希少であるという弱い監視のもとで意味解析器を学習するという課題に対処すること。
• 非微分可能なインタプリタを用いて、Freebaseのような大規模な知識ベースに対して効率的でスケーラブルかつ正確なシンボリック推論を可能にすること。
• 非微分可能なシンボリック操作を伴うニューラルネットワークの学習の難しさを、探索空間を削減するシンボリックコンピュータの統合によって克服すること。
• 強化学習を用いて構造予測のタスクレベル報酬を直接最適化するとともに、反復的最尤推定による前処理を用いて学習の安定性を向上させること。
• ドメイン固有の特徴や手作業で作成された文法を必要とせずに、弱い監視と完全な監視の間の性能ギャップを埋めること。

提案手法

• NSMフレームワークは、キーワード変数メモリを用いて中間結果を格納・再利用することで、自然言語質問を実行可能なプログラムにマッピングするニューラル「プログラマー」から構成される。
• 非微分可能なLispインタプリタであるシンボリック「コンピュータ」は、Freebaseに対してプログラムを実行し、大規模な知識ベースにおける効率的で抽象的かつ正確な操作を可能にする。
• 生成過程で不正なプログラム候補を検証・削減するフレンドリーなニューラルコンピュータインタフェースを用いることで、探索空間を縮小する。
• 報酬最大化（例：正解の予測）を目的関数として、REINFORCEアルゴリズムを用いて訓練を行う。これは、構造予測性能を直接最適化するものである。
• 学習の安定化のため、反復的最尤推定フェーズを導入する：ビームサーチにより擬似ゴールドプログラムが生成され、それがREINFORCEの目的関数に組み込まれる。
• キーワード変数メモリ機構により、モデルは変数名（例：R1 は「米国にあるすべての都市」）を介して過去の結果を参照することで、合成的意味を効果的に扱えるようになる。

実験結果

リサーチクエスチョン

• RQ1 弱い監視のもとで、完全なプログラムアノテーションがなくても、質問と回答のペアのみを用いて神経的シンボリックシステムが強力な性能を達成できるか？
• RQ2 自然言語理解における合成的意味を、シンボリックプログラムを生成するニューラルネットワークで効果的にモデル化できるか？
• RQ3 非微分可能なシンボリックコンピュータを微分可能な学習パイプラインに統合し、エンドツーエンド学習を可能にできるか？
• RQ4 高次元かつ非微分可能な探索空間におけるプログラム生成のための強化学習を安定化する訓練戦略は何か？
• RQ5 弱い監視が、弱い監視と完全な監視の間の性能ギャップをどの程度埋めることができるか？

主な発見

• NSMは、特徴工学やドメイン固有の知識を一切使用せず、質問と回答のペアのみを用いてWebQuestionsSPデータセットで最先端の性能を達成した。
• 提案された訓練戦略の有効性を示し、弱い監視と完全な監視の間の性能ギャップを顕著に縮小した。
• ニューラルプログラマーとシンボリックLispインタプリタの統合により、大規模知識ベース（1億エンティティ、2万以上のプロパティ）であるFreebase上でスケーラブルかつ正確な実行が可能になった。
• キーワード変数メモリ機構により、中間結果の参照と再利用が可能となり、合成的意味を効果的にサポートした。
• REINFORCEと反復的最尤推定前処理の組み合わせにより、学習が安定化し収束性が向上し、完全な監視が存在しない状況でも標準的なREINFORCEを上回る性能を発揮した。
• システムはエンドツーエンドで学習可能であり、手作業で作成された文法やアテンション機構、微分可能なメモリを必要としておらず、従来のアプローチとは明確に異なる。