[論文レビュー] Open Question Answering with Weakly Supervised Embedding Models

Antoine Bordes, Jason Weston+1 more|arXiv (Cornell University)|Apr 16, 2014

Topic Modeling参考文献 24被引用数 86

ひとこと要約

この論文では、手動で作成された文法や語彙リストを必要とせずに、質問と答えを共有のベクトル空間にマップする弱教師付きニューラル埋め込みモデルを提案する。自動生成された質問-三項対と並記法データを弱教師付きに活用し、類似度行列最適化のためのファインチューニング手順を導入することで、WikiAnswers+ReVerbデータセット上で最先端の性能を達成し、WebQuestionsにおけるゼロショット設定でも、Paralexなどの先行手法を上回る性能を示した。

ABSTRACT

Building computers able to answer questions on any subject is a long standing goal of artificial intelligence. Promising progress has recently been achieved by methods that learn to map questions to logical forms or database queries. Such approaches can be effective but at the cost of either large amounts of human-labeled data or by defining lexicons and grammars tailored by practitioners. In this paper, we instead take the radical approach of learning to map questions to vectorial feature representations. By mapping answers into the same space one can query any knowledge base independent of its schema, without requiring any grammar or lexicon. Our method is trained with a new optimization procedure combining stochastic gradient descent followed by a fine-tuning step using the weak supervision provided by blending automatically and collaboratively generated resources. We empirically demonstrate that our model can capture meaningful signals from its noisy supervision leading to major improvements over paralex, the only existing method able to be trained on similar weakly labeled data.

研究の動機と目的

• 人為的ラベル付き(質問, 答え)ペアやスキーマ固有の文法を必要とせずに、オープンドメインQAを可能にすること。
• 自動生成データと並記法信号からの弱教師付きで、質問とKB三項の意味的表現を、意味のあるベクトル表現として学習すること。
• 埋め込み空間における類似度関数の行列パラメータを最適化する新しいファインチューニング手順により、モデルの汎化性能と性能を向上させること。
• 再トレーニングなしで、別のKBと質問セット（WebQuestions）に対するゼロショット転送能力を評価すること。

提案手法

• モデルは、質問の埋め込みが共有空間内で対応する答えの埋め込みに近くなるように、語とKB三項の密なベクトル埋め込みを学習する。
• 正例（質問, 三項）ペアを近づけ、負例ペアを遠ざけるように、コントラスト型損失を用いる。
• 弱教師付きは、KB三項にルールベースのテンプレートシステムを適用して自動生成された質問-三項対から得られる。
• 追加の弱教師付きは、関連する答えのない並記法質問のデータセットから得られ、モデルが意味的同等性を学習するのを助ける。
• 埋め込み空間における類似度関数の行列パラメータを最適化するためのファインチューニングステップを導入する。
• 推論時に文字列マッチングを適用し、候補三項を管理可能な数（10,000程度）に制限することで、効率性と再現率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自動生成データからの弱教師付きで、ニューラル埋め込みモデルが効果的な質問-答え表現を学習できるか？
• RQ2 再トレーニングなしで、別のKBと質問セットに汎化できるか？
• RQ3 埋め込み空間における類似度行列のファインチューニング手順が、オープンドメインQAの性能向上に寄与するか？
• RQ4 明示的監視なしで、同義語関係（synonymy）や上位下位関係（hypernymy）のような意味的関係をどの程度捉えられるか？

主な発見

• ファインチューニングと文字列マッチングを併用した場合、WebQuestionsテストセットでF1スコア0.076を達成し、ベースライン埋め込みモデル（F1 0.025）を著しく上回った。
• 文字列マッチングと組み合わせたファインチューニングモデルでは、Top-1正答率が0.032から0.094に、Top-10正答率が0.106から0.270に向上した。
• 弱教師付きにより、意味的関係（例：'radiation' と 'x-ray.e' の同義語関係、'iphone' と 'smartphone.e' の下位関係）を適切に学習した。
• 再トレーニングなしでも、WebQuestionsデータセットに汎化可能で、1,538件の質問に対してTop-1正答率0.094を達成し、強力なゼロショット転送能力を示した。
• 推論時に文字列マッチングを適用することで、候補三項の数を1,400万から約10,000に削減し、大幅に効率性と再現率が向上した。