[論文レビュー] Using Multi-Label Classification for Improved Question Answering

Ricardo Usbeck, Michael M. Hoffmann+3 more|arXiv (Cornell University)|Oct 24, 2017

Topic Modeling参考文献 25被引用数 3

ひとこと要約

本稿では、14個の新しい質問特徴を用いて、6つの既存のRDFベースのQAエンジンの中から最適な質問応答（QA）システムを選択する、マルチラベル分類に基づくメタシステムを提案する。100件のQALD-6質問を用いてPSt分類器を訓練することで、最良の単一システムよりもF-measureが14.1%向上（0.78）し、限られた学習データのもとでも、特徴工学を施したメタラーニングが多様なQAアプローチを効果的に統合し、優れた性能を達成できることを示している。

ABSTRACT

A plethora of diverse approaches for question answering over RDF data have been developed in recent years. While the accuracy of these systems has increased significantly over time, most systems still focus on particular types of questions or particular challenges in question answering. What is a curse for single systems is a blessing for the combination of these systems. We show in this paper how machine learning techniques can be applied to create a more accurate question answering metasystem by reusing existing systems. In particular, we develop a multi-label classification-based metasystem for question answering over 6 existing systems using an innovative set of 14 question features. The metasystem outperforms the best single system by 14% F-measure on the recent QALD-6 benchmark. Furthermore, we analyzed the influence and correlation of the underlying features on the metasystem quality.

研究の動機と目的

• RDFデータに対する複数の専門的QAシステムの中から最も正確なものを選択するという課題に対処すること。
• メタラーニングアプローチを用いて既存のQAシステムの出力を統合することで、全体的な質問応答性能を向上させること。
• マルチラベル分類フレームワークにおいて、システム選択の正確性に最も影響を与える質問特徴を特定すること。
• 異なる学習およびテストデータ構成におけるメタシステムの頑健性と一般化性能を評価すること。
• 特にソリューション修飾子を必要とする複雑な質問に対して、現在のQAシステムの限界を特定すること。

提案手法

• メタシステムは、与えられた質問に対して、6つの既存のQAシステムのうちどれが正しく応答する可能性が高いかを予測するマルチラベル分類フレームワークを用いる。
• 質問語（QW）、トークン数（#T）、場所（Loc）、クエリリソースタイプ（QRT）、人物（Pers）などを含む14個の質問特徴を抽出し、入力質問を特徴づける。
• 交差検証とフルトレーニング設定の両方でF1スコアを評価し、最良の性能を示したPSt分類器をモデルとして選定する。
• 特徴の重要度を分析するために、さまざまな特徴の組み合わせでPSt分類器を学習させ、性能を最適化する特徴サブセットを同定する。
• 主な設定では、QALD-6ベンチマークを用い、学習および評価に100件の質問を用いる。
• 性能はF1-measureを用いて評価され、個々のQAシステムおよび理想化された最適選択ベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 複数の既存のQAシステムから選択するメタシステムが、RDF質問応答において最良の単一システムを上回ることができるか？
• RQ2 どの質問特徴の組み合わせが、与えられた質問に対して最も性能の高いQAシステムを効果的に予測できるか？
• RQ3 leave-one-out設定とフルトレーニング設定との間で、メタシステムの性能はどのように変化するか？また、これは過学習を示唆するか？
• RQ4 特徴の組み合わせが、メタシステムのF1スコアにどのように影響を与えるか（向上または低下）、また限られた学習データのもとで過学習のリスクは存在するか？
• RQ5 現在のQAシステムに根強く残る弱みは何か？そして、それらはメタシステムの一般化能力にどのように影響するか？

主な発見

• メタシステムはF1-measure 0.78を達成し、QALD-6ベンチマークで最良の単一QAシステム（F1 = 0.68）よりも14.1%高い性能を示した。
• PSt分類器の最適な特徴セットには、#T（トークン数）、Loc（場所）、QW（質問語）、QRT（クエリリソースタイプ）が含まれ、F1スコアは0.78を達成した。
• すべての14個の特徴を追加すると性能は0.76 F1に低下し、追加の特徴が信号ではなくノイズをもたらしたことが示された。
• leave-one-out設定では、フルトレーニング設定（F1 = 0.76）よりも低い性能（F1 ≈ 0.63–0.69）を示したため、小さな設定では過学習の可能性があると考えられる。
• メタシステムは理想の選択ベースライン（F1 = 0.89）にまだ届いておらず、100件の質問という限られた学習データの影響が顕著に現れている。
• ソリューション修飾子を必要とする質問（例：9, 88, 17, 28, 33, 36, 49）は、すべてのシステム、包括してメタシステムに対しても特に困難なままである。