[論文レビュー] Learning a Natural Language Interface with Neural Programmer

Arvind Neelakantan, Quoc V. Le+3 more|arXiv (Cornell University)|Nov 28, 2016

Topic Modeling被引用数 36

ひとこと要約

本論文では、アノテートされたプログラムやドメイン固有の文法を必要とせず、データベーステーブルの自然言語インターフェースを弱教師付きでエンドツーエンドのニューラルネットワークモデルとして学習するためのNeural Programmerに基づく手法を提案する。ソフト選択を用い、質問-回答ペアのみで訓練することで、WikiTableQuestionsデータセット上で15モデルのアンサンブルで37.7%の精度を達成し、最小限の監視で最先端の性能を再現した。

ABSTRACT

Learning a natural language interface for database tables is a challenging task that involves deep language understanding and multi-step reasoning. The task is often approached by mapping natural language queries to logical forms or programs that provide the desired response when executed on the database. To our knowledge, this paper presents the first weakly supervised, end-to-end neural network model to induce such programs on a real-world dataset. We enhance the objective function of Neural Programmer, a neural network with built-in discrete operations, and apply it on WikiTableQuestions, a natural language question-answering dataset. The model is trained end-to-end with weak supervision of question-answer pairs, and does not require domain-specific grammars, rules, or annotations that are key elements in previous approaches to program induction. The main experimental result in this paper is that a single Neural Programmer model achieves 34.2% accuracy using only 10,000 examples with weak supervision. An ensemble of 15 models, with a trivial combination technique, achieves 37.7% accuracy, which is competitive to the current state-of-the-art accuracy of 37.1% obtained by a traditional natural language semantic parser.

研究の動機と目的

• アノテートされたプログラムや手作業で作成された文法を必要とせず、データベーステーブル上の自然言語質問を実行可能プログラムにマッピングするニューラルネットワークモデルを開発すること。
• プログラムアノテーションの代わりに質問-回答ペアのみを監視信号として使用するエンドツーエンド学習を可能にすること。
• 訓練中にソフト選択を用いることで、探索空間をより効果的に探索し、プログラム誘導のサンプル効率を向上させること。
• シンボリックなプログラム探索やドメイン固有のルールに依存せずに、現実世界の複雑な推論タスクで競争力のある性能を達成できるニューラルモデルであることを示すこと。

提案手法

• モデルは、各時刻ステップでテーブルのカラムに対して適用する離散的演算（例：select、count、print、比較）の系列を用いる。
• 3つの主要な変数を用いる：行選択子（情報伝搬用）、スカラ値の出力（数値出力用）、照会用出力（テーブルエントリ用）。
• 訓練中にソフト選択を用いることで、バックプロパゲーションによる微分可能な更新が可能になり、ハードな意思決定や強化学習を必要とせずにエンドツーエンド学習が可能になる。
• 目的関数を改良し、特に答えがテーブルに明示的にマークされていない場合の現実世界の曖昧さに対処できるようにする。
• モデルは、プログラムアノテーションや文法規則なしに、WikiTableQuestionsデータセットの10,000件の質問-回答ペアのみで訓練される。
• 性能評価は、耐性と精度を向上させるために単純な結合戦略を用いた15モデルのアンサンブルを用いる。

実験結果

リサーチクエスチョン

• RQ1 プログラムアノテーションがなく、質問-回答ペアのみでニューラルネットワークが実行可能プログラムを誘導できるか？
• RQ2 ソフト選択は、現実世界のデータセットにおけるプログラム誘導のサンプル効率を向上させるのにどの程度効果的か？
• RQ3 ドメイン固有の文法やルールに依存せず、ニューラルモデルが複雑な複数ステップの推論タスクで競争力のある性能を達成できるか？
• RQ4 アンサンブル化とアーキテクチャの選択が、弱教師付きプログラム誘導における性能に与える影響は何か？

主な発見

• 1つのNeural Programmerモデルは、弱教師付きの例10,000件のみを用いて、WikiTableQuestionsテストセットで34.2%の精度を達成した。
• 15モデルのアンサンブルでは37.7%の精度を達成し、37.1%の最先端の意味解析器と同等の性能を示した。
• モデルは30.7%のケースでスカラ値の出力を誘導し、残りの69.3%の正解例ではテーブル照会を実行した。
• 最も頻繁に使用された演算はprint（69.3%）とselect（66.7%）であり、これらが誘導されたプログラムにおいて中心的な役割を果たしていることが示された。
• モデルは顕著な過学習を示しており、訓練セットでは53%の精度、テストセットでは37.7%の精度であったため、より多くのデータで改善の余地があることが示唆された。
• 15モデルのオラクル性能は開発セットで50.5%に達し、より良い一般化能力やデータがあればさらなる向上が可能であることが示された。