[論文レビュー] Neural Enquirer: Learning to Query Tables with Natural Language

Pengcheng Yin, Zhengdong Lu+2 more|arXiv (Cornell University)|Dec 3, 2015

Topic Modeling参考文献 16被引用数 27

ひとこと要約

Neural Enquirer は、知識ベースの表に対する自然言語クエリを解析して実行する完全に微分可能でエンド・ツー・エンドのニューラルネットワークアーキテクチャを提案する。クエリと表を分散表現にエンコードし、複数のメモリ層に保存された一連の微分可能演算を通じて構成的クエリを実行する。モデルは未学習のクエリ構成に対しても強力な汎化を達成し、複雑で構造的なクエリに対するエンド・ツー・エンドのニューラル実行の可能性を示している。

ABSTRACT

We proposed Neural Enquirer as a neural network architecture to execute a natural language (NL) query on a knowledge-base (KB) for answers. Basically, Neural Enquirer finds the distributed representation of a query and then executes it on knowledge-base tables to obtain the answer as one of the values in the tables. Unlike similar efforts in end-to-end training of semantic parsers, Neural Enquirer is fully "neuralized": it not only gives distributional representation of the query and the knowledge-base, but also realizes the execution of compositional queries as a series of differentiable operations, with intermediate results (consisting of annotations of the tables at different levels) saved on multiple layers of memory. Neural Enquirer can be trained with gradient descent, with which not only the parameters of the controlling components and semantic parsing component, but also the embeddings of the tables and query words can be learned from scratch. The training can be done in an end-to-end fashion, but it can take stronger guidance, e.g., the step-by-step supervision for complicated queries, and benefit from it. Neural Enquirer is one step towards building neural network systems which seek to understand language by executing it on real-world. Our experiments show that Neural Enquirer can learn to execute fairly complicated NL queries on tables with rich structures.

研究の動機と目的

• 構造的知識ベースの表に対して自然言語クエリを解析・実行できる完全にニューラル的でエンド・ツー・エンドに微分可能なシステムを開発すること。
• 手動で作成されたルールや事前に定義された論理形式に依存するシンボリック意味解析器の限界を克服すること。
• クエリ-回答ペアを用いたデータ駆動型トレーニングにより、クエリ計画とシンボリック演算の両方を学習できること。
• 既知の演算を組み合わせることで、トレーニング中に見られなかった構成的クエリパターンに対しても汎化できることを示すこと。
• 微分可能でメモリ拡張型のフレームワークにおいて、複雑でマルチステップのクエリにスケーリング可能なニューラル実行を実現すること。

提案手法

• 自然言語クエリを濃密なベクトル表現にエンコードするために双方向RNNを用いる。
• 知識ベースの表の各エントリを別個のエンコーダーで分散表現に埋め込み、表の2次元構造を保持する。
• 表データに対して微分可能な演算を実行するニューラル実行器の段階的パイプラインを通じてクエリを実行する。
• 中間実行結果を階層的推論を可能にする複数の外部メモリ層にアノテーションとして保存する。
• 勾配降下法を用いてエンド・ツー・エンドで全システムを最適化し、クエリ埋め込み、表埋め込み、コントローラーのパラメータ、および演算関数を同時に学習する。
• 複雑なクエリに対して段階的监督をサポートし、トレーニング中の強いガイダンスを可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能なニューラルネットワークは、構造的表に対する自然言語クエリを実行可能な演算にマッピングすることができるか？
• RQ2 既知の演算を組み合わせることで、トレーニング時に見られなかった構成的クエリに対してもモデルは汎化可能か？
• RQ3 クエリ-回答ペアを用いたエンド・ツー・エンドのトレーニングは、意味解析と実行論理の両方の効果的な学習を可能にするか？
• RQ4 クエリの複雑さと表構造の複雑さが増加するにつれて、モデルのパフォーマンスはどのように変化するか？
• RQ5 複数のメモリ層を備えたニューラルシステムは、構成的推論タスクにおいて、シンボリックまたはハイブリッドアプローチを上回る性能を示せるか？

主な発見

• Neural Enquirer は、豊富な構造を持つ合成知識ベースの表に対して、複雑で構成的な自然言語クエリを効果的に実行する能力を学習した。
• 未学習のクエリ構成に対しても良好な汎化を示しており、単純で既知の演算の学習を通じて構成的パターンを効果的に学習していることが示された。
• 勾配降下法を用いたエンド・ツー・エンドのトレーニングにより、クエリ埋め込み、表埋め込み、ニューラル実行コンponentsの共同最適化が可能になった。
• テストクエリの構成性がトレーニングクエリを上回る場合でさえ、高いパフォーマンスを達成しており、強固な汎化能力を示している。
• 中間結果を複数のメモリ層に保存することで階層的推論が可能になり、複雑でマルチステップのクエリ実行をサポートしている。
• クエリ計画とシンボリック演算の両方を完全にニューラル化することで、従来のアプローチを上回り、手動でコーディングされた論理形式への依存を回避した。