[論文レビュー] Neural Multi-Step Reasoning for Question Answering on Semi-Structured Tables

Till Haug, Octavian-Eugen Ganea+1 more|arXiv (Cornell University)|Feb 21, 2017

Topic Modeling参考文献 19被引用数 4

ひとこと要約

この論文では、弱教師付きのニューラルネットワークモデルを提案し、準構造化テーブルにおける多段階推論を実現する。自然言語の質問を解釈可能な論理形式の並び替え表現に翻訳し、CNNと双線形層を用いた統合埋め込みでスコア付けする。15個のモデルのアンサンブルを用いることで、WikiTableQuestionsデータセット上でSOTAの38.7%のprecision@1を達成した。

ABSTRACT

Advances in natural language processing tasks have gained momentum in recent years due to the increasingly popular neural network methods. In this paper, we explore deep learning techniques for answering multi-step reasoning questions that operate on semi-structured tables. Challenges here arise from the level of logical compositionality expressed by questions, as well as the domain openness. Our approach is weakly supervised, trained on question-answer-table triples without requiring intermediate strong supervision. It performs two phases: first, machine understandable logical forms (programs) are generated from natural language questions following the work of [Pasupat and Liang, 2015]. Second, paraphrases of logical forms and questions are embedded in a jointly learned vector space using word and character convolutional neural networks. A neural scoring function is further used to rank and retrieve the most probable logical form (interpretation) of a question. Our best single model achieves 34.8% accuracy on the WikiTableQuestions dataset, while the best ensemble of our models pushes the state-of-the-art score on this task to 38.7%, thus slightly surpassing both the engineered feature scoring baseline, as well as the Neural Programmer model of [Neelakantan et al., 2016].

研究の動機と目的

• 貴重なゴールド論理形式のアノテーションが不要な、準構造化テーブル上の複雑で多段階的な質問を処理すること。
• 人間が読みやすい論理形式の並び替え表現を生成することで、解釈可能性とモデル性能を向上させること。
• 候補スコア付けに手作業で特徴を設計する必要をなくし、エンドツーエンドのニューラル表現を学習すること。
• 質問-回答-テーブルの三つ組みからの弱教師付き学習により、WikiTableQuestionsベンチマークでSOTA性能を達成すること。
• 異なるニューラルアーキテクチャーやコンポonentsが、テーブルベースQAにおける推論精度に与える影響を調査すること。

提案手法

• 候補論理形式は[8]の手法を用いて生成され、質問をLambda DCS形式の実行可能プログラムとして表現する。
• 各論理形式は、解釈可能性と埋め込みの互換性を高めるために、再帰的に自然言語の並び替え表現に変換される。
• 質問と並び替え表現の両方のための、単語レベルと文字レベルの埋め込みを用いた2つの並列CNNを用いて、統合文書埋め込みが学習される。
• 質問と並び替え表現の埋め込みを組み合わせるための双線形相互作用層が続き、類似度スコアのための全結合層が続く。
• 最もスコアの高い並び替え表現が選択され、入力テーブル上で実行されて答えが取得される。
• 性能最適化とコンポonentの貢献分析のため、モデルアンサンブルとアブレーションスタディが用いられる。

実験結果

リサーチクエスチョン

• RQ1 ゴールド論理形式アノテーションがなくても、弱教師付きニューラルモデルが準構造化テーブル上の多段階推論で強力な性能を達成できるか？
• RQ2 形式的表現を直接使用するのと比較して、論理形式の並び替え表現を用いることで、モデル性能と解釈可能性が向上するか？
• RQ3 異なるニューラルアーキテクチャ（CNN対RNN）と相互作用メカニズム（双線形対全結合）が推論精度に与える影響は？
• RQ4 文字埋め込み、ドロップアウト、事前学習済み単語ベクトルといった、主なコンポーネントのモデル性能への寄与度は？
• RQ5 モデルが特に困難に感じる質問の種類は何か、そしてその理由は？

主な発見

• 15個のCNN-FC-BILINモデルのアンサンブルは、論文発表時におけるWikiTableQuestionsデータセットでSOTAの38.7%のprecision@1を達成した。
• 最高の単一モデルであるCNN-FC-BILINは34.8%のprecision@1を達成し、双線形層と全結合層を組み合わせることの有効性を示した。
• アブレーションスタディの結果、並び替え表現の除去により性能が33.1%に低下し、モデル精度におけるその重要性が確認された。
• 事前学習済みGloVe埋め込みの使用により性能が向上し、ランダム初期化では32.4%に低下した。
• RNNベースの文書エンコーダーはCNNより性能が低く、RNN-FC-BILINはたった29.6%のprecision@1にとどまった。
• 一般的な誤りは、誤った論理形式の生成と、特にテーブル構造や「小さいより」対「小さい以上」のような微妙な意味的差異に依存する質問でのスコア付けの失敗に起因した。