[論文レビュー] Neural Enquirer: Learning to Query Tables.

Pengcheng Yin, Zhengdong Lu+2 more|arXiv (Cornell University)|Dec 3, 2015

Topic Modeling参考文献 16被引用数 26

ひとこと要約

Neural Enquirer は、構造化された知識ベーステーブル上の自然言語クエリを解釈・実行するための完全に微分可能なニューラルネットワークアーキテクチャであり、分散表現を生成し、複数のメモリ層を横断して微分可能で構成的な操作を実行する。勾配降下法を用いたエンド・ツー・エンドの学習を可能にし、クエリとテーブルの埋め込みをスクラッチから学習する一方で、複雑なクエリの段階的監視もサポートする。

ABSTRACT

We proposed Neural Enquirer as a neural network architecture to execute a natural language (NL) query on a knowledge-base (KB) for answers. Basically, Neural Enquirer finds the distributed representation of a query and then executes it on knowledge-base tables to obtain the answer as one of the values in the tables. Unlike similar efforts in end-to-end training of semantic parsers, Neural Enquirer is fully neuralized: it not only gives distributional representation of the query and the knowledge-base, but also realizes the execution of compositional queries as a series of differentiable operations, with intermediate results (consisting of annotations of the tables at different levels) saved on multiple layers of memory. Neural Enquirer can be trained with gradient descent, with which not only the parameters of the controlling components and semantic parsing component, but also the embeddings of the tables and query words can be learned from scratch. The training can be done in an end-to-end fashion, but it can take stronger guidance, e.g., the step-by-step supervision for complicated queries, and benefit from it. Neural Enquirer is one step towards building neural network systems which seek to understand language by executing it on real-world. Our experiments show that Neural Enquirer can learn to execute fairly complicated NL queries on tables with rich structures.

研究の動機と目的

• シンボリックなパーサーを用いずに、自然言語クエリを解釈し、構造化されたテーブル上で実行できる完全にニューラライズドされたシステムの開発。
• 勾配降下法を用いたエンド・ツー・エンドの学習により、セマンティックパーサーと実行部の両方を同時に学習し、クエリとテーブルの埋め込みをスクラッチから学習すること。
• 複数のメモリ層に保存された中間結果を活用し、微分可能な操作を通じて構成的クエリ実行を実現すること。
• 複雑なクエリの段階的アノテーションによる強力な監視を可能にし、学習効率と精度を向上させること。
• 現実世界の構造化データ上で言語を実行することで、言語を理解するニューラルネットワークシステムの前進を図ること。

提案手法

• Neural Enquirer は、自然言語クエリと知識ベーステーブルの両方の分散表現を生成するためのニューラルエンコーダーを用いる。
• クエリ実行は、中間結果を複数のメモリ層に保存することで、構成的推論を支援する一連の微分可能な操作として実行される。
• 制御機構とセマンティックパーサー部を統合した包括的な微分可能なフレームワークを採用し、勾配ベース最適化を可能にする。
• クエリとテーブル値の単語埋め込みを同時に学習することで、トレーニング中に意味的な表現を発見できるようにする。
• 段階的監視の有無にかかわらずエンド・ツー・エンドの学習を可能にし、複雑なクエリにおける一般化性能を向上させる。
• テーブルのアノテーションを操作する一連の微分可能な操作によって実行を実現し、パイプライン全体にバックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能なニューラルネットワークは、構造化されたテーブル上の複雑な自然言語クエリを解釈・実行できるか？
• RQ2 勾配降下法によるエンド・ツー・エンドの学習は、セマンティックパーサーと実行部の両方を同時に学習するのにどの程度効果的か？
• RQ3 段階的監視は、複雑で構成的なクエリのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 事前学習済み埋め込みを用いずに、スクラッチからクエリとテーブル値の意味的な分散表現を学習できるか？
• RQ5 複数のメモリ層を横断する微分可能な操作は、ニューラルセマンティックパーサーにおける構成的推論を可能にするか？

主な発見

• Neural Enquirer は、豊富な構造的特徴を持つテーブル上で、複雑な自然言語クエリの実行を成功裏に学習した。
• 勾配降下法によるエンド・ツー・エンドの学習により、クエリとテーブルの埋め込みをスクラッチから学習し、頑健なパフォーマンスを達成した。
• 段階的監視は、複雑なクエリにおける学習効率と精度を顕著に向上させた。
• 微分可能な実行メカニズムにより、推論パイプライン全体にバックプロパゲーションが可能となり、共同最適化を支援した。
• 現実世界の知識ベーステーブル上で、メモリ拡張型実行を伴う完全にニューラライズドされたセマンティックパーサーの実現可能性を示した。
• 実行中に複数のメモリ層に中間結果を保持することで、構成的クエリ推論を実現するアーキテクチャを有していた。