[論文レビュー] QANUS: An Open-source Question-Answering Platform

Jun-Ping Ng, Min‐Yen Kan|arXiv (Cornell University)|Jan 1, 2015

Topic Modeling参考文献 10被引用数 15

ひとこと要約

QANUS は、情報源準備、質問処理、回答取得、評価の4段階のパイプラインにおいて再利用可能なコンポONENTを抽象化することで、質問応答（QA）システムの開発を加速するオープンソースで Java で作られたフレームワークである。QANUS の上位に構築された Qa-Sys プロトタイプは、TREC 2007 データでファクトイド正答率 0.119 を達成し、将来のシステム評価のためのベースラインを確立するとともに、新規研究者の参入障壁を低減している。

ABSTRACT

In this paper, we motivate the need for a publicly available, generic software framework for question-answering (QA) systems. We present an open-source QA framework QANUS which researchers can leverage on to build new QA systems easily and rapidly. The framework implements much of the code that will otherwise have been repeated across different QA systems. To demonstrate the utility and practicality of the framework, we further present a fully functioning factoid QA system QA-SYS built on top of QANUS.

研究の動機と目的

• 再現性の阻害要因となっている公開可能で再利用可能な QA システムの不足に対処すること。
• 冗長な実装を減らすために、汎用的で拡張可能かつモジュラーなソフトウェアフレームワークを提供すること。
• QANUS の上に完全に機能するファクトイド QA システム Qa-Sys を構築・公開することで、フレームワークの実用性を実証すること。
• TREC QA トラックの廃止を踏まえて、Qa-Sys を信頼性があり、アクセス可能で時間的に安定したベースラインとして確立し、新たな QA システムの評価に用いること。
• 非ファクトイド質問の処理やクエリ拡張、ソフトパターン、依存構文解析によるランク付けの向上といった、将来的な拡張性を支援すること。

提案手法

• QANUS フレームワークは、情報源準備、質問処理、回答取得、評価の4つのコア段階を持つパイプラインアーキテクチャを採用しており、各段階は FrameworkController と FrameworkEngine によって管理される。
• フレームワークは、ドキュメントインデクシング、質問分類、回答候補抽出といった共通の QA コンポONENTを抽象化し、新しい技術のプラグイン・アンド・プレイ統合を可能にしている。
• Qa-Sys は、ドキュメント検索に Lucene を使用し、上位ランクのパラグラフから回答候補を抽出するためにハードコードされたパターンを適用している。
• 回答候補は、クエリ用語との距離や語彙的重複度といったヒューリスティクスを用いてランク付けされ、上位候補が答えとして返される。
• 評価はファクトイド正答率を用い、正しく回答された質問数を全テスト質問数で割った比として計算され、FactoidAccuracyEvaluator クラスに実装されている。
• システムはローカルコロナ（例：Aquaint-2）へのクエリとオンラインウェブクエリの両方をサポートしているが、後者はノイズのフィルタリングが不十分である。

実験結果

リサーチクエスチョン

• RQ1 汎用的でオープンソースの QA フレームワークは、質問応答研究における開発時間を短縮し、再現性を向上させることができるか？
• RQ2 QANUS のようなモジュラーなフレームワークは、特定のアーキテクチャに過度にコミットすることなく、多様な QA 技術をどれほどサポートできるか？
• RQ3 QANUS の上に構築された参照 QA システムは、TREC QA トラックの廃止を踏まえて、将来的なシステム評価のための安定的でアクセス可能なベースラインとして機能できるか？
• RQ4 基本的なヒューリスティクスと既成品コンponentsを用いた最小限のプロトタイプ QA システム（Qa-Sys）は、どの程度のパフォーマンスを達成できるか？
• RQ5 精度と耐障害性を向上させるために、ベースラインシステムに必要なアーキテクチャ的・アルゴリズム的改善は何か？

主な発見

• QANUS の上に構築されたファクトイド QA システム Qa-Sys は、TREC 2007 テストセットでファクトイド正答率 0.119 を達成し、現在のシンプルさを考慮してもフレームワークの実用性を示している。
• フレームワークはコア QA パイプライン段階を抽象化することでボイラープレートコードを削減し、最小限の実装作業で新しい QA システムのプロトタイピングを迅速に可能にしている。
• OSL v3.0 の下で QANUS をオープンソースとしてリリースすることで、コミュニティによるアクセスが保証され、派生的貢献を促進し、長期的な保守性と拡張性を支援している。
• 現在のプロトタイプシステムはリスト形式の質問やウェブデータの高度な処理をサポートしていないため、今後の改善の明確な分野が示されている。
• フレームワークの設計により、クエリ拡張、ソフトパターン、依存構文解析といった高度な技術の統合が可能であり、これらは将来的に回答取得とランク付けの向上を目的として計画されている。
• Qa-Sys のオンラインデモが利用可能であり、事前インデックス化されたコロナとリアルタイムのウェブクエリの両方をサポートしているが、後者は取得結果のノイズが処理されていないため、依然として簡素な状態のままである。