[論文レビュー] A Case Based Reasoning Approach for Answer Reranking in Question Answering

Karl-Heinz Weis|arXiv (Cornell University)|Jan 1, 2013

Topic Modeling参考文献 11被引用数 5

ひとこと要約

本稿では、過去のユーザー質問からアノテートされたMultiNetグラフを活用して、質問応答システムにおける回答の再ランク付けを改善するケースベース推論（CBR）手法を提案する。CBRから得られる特徴量を学習されたランク付けモデルに統合することで、平均逆順位（MRR）が0.74に達し、決定木のスプリットの42.5％でCBR特徴量が使用されることで、ユーザーのフィードバックからの継続的学習によって再ランク付けの正確性が顕著に向上することが示された。

ABSTRACT

In this document I present an approach to answer validation and reranking for question answering (QA) systems. A cased-based reasoning (CBR) system judges answer candidates for questions from annotated answer candidates for earlier questions. The promise of this approach is that user feedback will result in improved answers of the QA system, due to the growing case base. In the paper, I present the adequate structuring of the case base and the appropriate selection of relevant similarity measures, in order to solve the answer validation problem. The structural case base is built from annotated MultiNet graphs, which provide representations for natural language expressions, and corresponding graph similarity measures. I cover a priori relations to experienced answer candidates for former questions. I compare the CBR System results to current approaches in an experiment integrating CBR into an existing framework for answer validation and reranking. This integration is achieved by adding CBR-related features to the input of a learned ranking model that determines the final answer ranking. In the experiments based on QA@CLEF questions, the best learned models make heavy use of CBR features. Observing the results with a continually growing case base, I present a positive effect of the size of the case base on the accuracy of the CBR subsystem.

研究の動機と目的

• 過去のユーザーがアノテートした回答候補を活用して、オープンドメインQAシステムにおける回答の再ランク付けを改善すること。
• 語彙的重複を超えた意味的類似性の課題に取り組み、回答検証における意味的類似性を向上させること。
• ユーザーのフィードバックを通じたケースベースの拡張を可能にし、継続的なシステム改善を実現すること。
• CBR特徴量を学習されたランク付けモデルに効果的に統合し、QAに適応させること。

提案手法

• システムは、ドイツ語のウィキペディアおよびニュースコーパスから抽出された構造的意味表現であるMultiNetグラフを用い、質問および回答候補を符号化する。
• 過去に回答済みの質問のアノテート済みMultiNetグラフをもとに、ケースベースを構築し、構造的経験ベースを形成する。
• 新規の質問／回答と過去の事例との間で意味的構造を比較するためのグラフ類似度測定を定義する。
• レイヤー・属性に配慮した類似度計算を用いて、新規事例と過去の事例との間で類似する部分グラフを同定することで、CBR特徴量を抽出する。
• これらのCBR特徴量を、ストラティファイドバギングを用いて訓練されたランク最適化のための決定木アンサンブルモデルの入力として統合する。
• 最終的な回答ランク付けは、CBR特徴量に加え、深層的・浅層的・リtrieバルベースの特徴量を学習するためのランク付けフレームワークに統合して決定される。

実験結果

リサーチクエスチョン

• RQ1 過去にユーザーがアノテートした回答を再利用することで、ケースベース推論（CBR）がオープンドメインQAシステムにおける回答再ランク付けを改善できるか？
• RQ2 MultiNet表現におけるグラフベースの類似度測定は、意味的に類似した質問・回答ペairを特定するためにどの程度有効か？
• RQ3 CBRから得られる特徴量は、QAにおける学習されたランク付けモデルの性能にどの程度寄与するか？
• RQ4 ケースベースのサイズは、回答検証におけるCBRサブシステムの正確性にどのように影響するか？
• RQ5 MultiNetグラフにおける構造的類似性は、意味的に同等の質問や回答の異なる語彙的表現に一般化できるか？

主な発見

• CBR特徴量を学習するためのランク付けモデルに統合した結果、MRRが0.74に達し、CBRを含まないモデルを上回った。
• 100個の決定木全体で42.5％の分岐条件でCBR特徴量が使用されたことから、最終的なランク付け意思決定に強く影響していることが示された。
• 最も優れたモデル（DSC3）はトップ1の正確度が61％を達成し、ベースライン手法に比べ顕著な改善が確認された。
• ケースベースのサイズがCBRサブシステムの正確性と正の相関関係にあることから、継続的改善の可能性が裏付けられた。
• 本システムは意味的に類似した質問・回答に対して最も効果を発揮し、完全に異なるケースでは性能が低下する傾向にあり、主な挑戦領域が特定された。
• MultiNetグラフとレイヤー・属性に配慮した類似度測定の使用により、語彙的マッチングを超えた堅牢な回答検証を実現する構造的比較が可能になった。