[論文レビュー] Studio Ousia's Quiz Bowl Question Answering System

Ikuya Yamada, Ryuji Tamaki+2 more|arXiv (Cornell University)|Mar 23, 2018

Topic Modeling被引用数 4

ひとこと要約

この論文は、NIPS 2017 HCQA コンペティションで優勝した Studio Ousia のシステムを提示しており、2つの新規ニューラルネットワーク（Neural Quiz Solver および Neural Type Predictor）と従来の情報検索モデルを統合したハイブリッドアプローチを採用している。これらは、教師あり機械学習に基づく Answer Scorer を通じて統合され、全クイズ問題で97％の精度を達成した。このシステムは、6名のトップ人間クイズエキスパートを大幅に上回り、425点を記録したのに対し、人間チームは200点にとどまった。

ABSTRACT

In this chapter, we describe our question answering system, which was the winning system at the Human-Computer Question Answering (HCQA) Competition at the Thirty-first Annual Conference on Neural Information Processing Systems (NIPS). The competition requires participants to address a factoid question answering task referred to as quiz bowl. To address this task, we use two novel neural network models and combine these models with conventional information retrieval models using a supervised machine learning model. Our system achieved the best performance among the systems submitted in the competition and won a match against six top human quiz experts by a wide margin.

研究の動機と目的

• NIPS 2017 HCQA コンペティションにおけるファクトオイドクイズボウルタスクの高精度な質問応答システムの開発。
• 質問が1語ずつ明らかにされる中で、早期かつ正確なエンティティ予測を必要とするリアルタイムの答え予測の課題に対処すること。
• 教師ありアンサンブルモデルを用いて、ニューラルネットワークモデルと従来の情報検索技術を統合することで、性能を向上させること。
• ライブでルールに準拠したクイズボウルの場で、他の競合システムおよびエリート人間クイズプレーヤーを上回ること。

提案手法

• Neural Quiz Solver は QA タスクをテキスト分類としてモデル化し、平均化された単語およびエンティティ埋め込みを入力として、正しい Wikipedia エンティティ答えを予測する。
• Neural Type Predictor は畳み込みニューラルネットワーク（CNN）を用いて、答えの粗いおよび細かいエンティティタイプ（例：人物、著者）を予測し、答えの関連性を向上させる。
• 教師あり機械学習に基づく Answer Scorer は、両方のニューラルモデルと従来の IR モデル（Wikipedia および Freebase を使用）の特徴を統合して、候補となる答えの順位を付ける。
• システムは動的答えトリガーを採用しており、上位候補の関連性スコアが 0.6 を超えており、かつ質問に少なくとも15語が含まれる場合にのみ答えを出力する。これにより、短い質問における不安定性を回避する。
• 最終モデルは、答えのマッピングを Wikipedia タイトルに正しく解決した後、Protobowl および Iyyer らのデータセットを統合した、101,043組の質問-答えペアから構成されるキュレート済みデータセットで学習される。
• モデル学習は10％の開発セットを用いた早期停止法を採用し、アンサンブルフレームワーク内ですべてのコンponentsを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 質問が1語ずつ明らかにされる中で答えを段階的に予測する必要があるクイズボウル QA タスクにおいて、ニューラルとリトリーブベースのハイブリッドシステムが最先端の性能を達成できるか？
• RQ2 単語と Wikipedia エンティティを同時にエンコードするニューラルモデルは、ファクトオイド質問の答えの正確性を向上させるのにどの程度有効か？
• RQ3 低リソースで段階的な QA 環境において、エンティティタイプの予測（粗いおよび細かい粒度）は、答え選択にどの程度寄与するか？
• RQ4 ニューラルモデルと従来の IR モデルを統合した機械学習アンサンブルモデルは、単体のニューラルモデルや人間エキスパートを上回ることができるか？

主な発見

• 全クイズ問題において97％の精度を達成し、複雑で複文の手がかりに対しても強力な性能を示した。
• 最初の文のみで56％の精度を達成し、3文で88％まで向上した。これは、段階的な学習能力が優れていることを示している。
• IR モデル（特に Wikipedia ベースのリトリーブ）の統合が性能を顕著に向上させた。特に短い質問では、ニューラル特徴と組み合わせることで、精度が89％から95％に上昇した。
• Neural Type Predictor は、全質問における粗いエンティティタイプ予測で95％以上の精度を達成した。細かい粒度のモデルは Precision@1 では良好に機能したが、多様なタイプの予測という課題のため F1 スコアは低かった。
• シミュレーテッド対戦では、Acelove に対して1220点（相手60点）、Lunit.io に対して1145点（相手105点）を記録し、決定的な性能優位性を示した。
• NIPS 2017 ウォークアップ会議でのライブ対戦では、6名のエリート人間クイズエキスパートチームを破り、425点を獲得した。人間チームは200点にとどまった。これは、実世界の条件下でも優位性が確認されたことを示している。