[論文レビュー] CMU LiveMedQA at TREC 2017 LiveQA: A Consumer Health Question Answering System

Yang Yuan, Jingcheng Yu+3 more|arXiv (Cornell University)|Nov 15, 2017

Topic Modeling参考文献 7被引用数 5

ひとこと要約

本論文では、TREC 2017 LiveQA医療サブタスク用にカーチェン・マクギル大学（CMU）で開発された、消費者向け健康質問応答システム「LiveMedQA」を提示する。深層学習に基づく質問タイプ／焦点特定分類器、木構造の医療知識グラフ、構造に配慮した検索エンジンを用い、回答を取得・順序付けする。人間による評価で平均スコア0.356（4段階スケール）を達成したが、これは中央値の性能（0.552）を下回っている。

ABSTRACT

In this paper, we present LiveMedQA, a question answering system that is optimized for consumer health question. On top of the general QA system pipeline, we introduce several new features that aim to exploit domain-specific knowledge and entity structures for better performance. This includes a question type/focus analyzer based on deep text classification model, a tree-based knowledge graph for answer generation and a complementary structure-aware searcher for answer retrieval. LiveMedQA system is evaluated in the TREC 2017 LiveQA medical subtask, where it received an average score of 0.356 on a 3 point scale. Evaluation results revealed 3 substantial drawbacks in current LiveMedQA system, based on which we provide a detailed discussion and propose a few solutions that constitute the main focus of our subsequent work.

研究の動機と目的

• 一般ドメインの質問とは顕著に異なる、消費者向け健康に関する質問に特化した質問応答システムの開発。
• 医療エンティティツリーおよび属性階層といった、領域名の知識構造を活用することで、回答の正確性を向上させること。
• 薬剤相互作用や複数エンティティを含む複雑な多面的健康関連質問を処理する際、一般用途QAシステムの限界を是正すること。
• 誤差分析とシステムの再設計を通じて、医療QAシステムにおける主な失敗モードを同定・是正すること。

提案手法

• 質問タイプと医療エンティティの焦点を特定するため、ラベル付き開発データと公開データセットを用いて畳み込みニューラルネットワーク（CNN）を学習。
• エンティティを根ノードとし、症状や治療法などの属性（例：症状、治療法）を葉ノードとする木構造の医療知識グラフを構築。医療概念の階層を保持する。
• 構造に配慮した検索エンジンは、知識グラフ上で正規表現マッチングとBM25検索を統合し、属性タイプごとに専用の照会テーブルを備える。
• 内部知識ベースと外部ソース（例：Yahoo Answers、MedlinePlus Web Service）の両方から候補を取得し、知識ベースの結果を優先する。
• 回答生成は、ハイブリッド検索戦略を用いて複数ソースからの候補を統合・再順序付けすることで実現。
• システムは各質問をリアルタイムで処理し、60秒以内に1000文字以内の回答を生成する必要があるTREC LiveQAチャレンジ要件を満たしている。

実験結果

リサーチクエスチョン

• RQ1 医療エンティティおよびその属性を含む質問に最適化された質問応答システムは、どのように設計できるか？
• RQ2 階層的構造を持つ領域名特化型知識グラフは、医療QAにおける回答の検索と生成をどの程度向上させるか？
• RQ3 質問タイプおよびエンティティ焦点分類の誤りは、医療QAにおける全体的なシステムパフォーマンスにどの程度影響を及えるか？
• RQ4 薬剤相互作用などの複数エンティティを含む質問を処理する際、医療QAシステムの主な失敗モードは何か？

主な発見

• LiveMedQAシステムは、4段階リッカートスケールで平均人間評価スコア0.356を達成したが、参加システムの中央値（0.552）を下回っている。
• 質問タイプ／焦点分類モジュールに顕著なパフォーマンスボトルネックが特定された。CNNモデルは、小規模で不均衡なトレーニングデータのため過学習を起こし、一般化性能が著しく低い。
• 特に薬剤相互作用、副作用、禁忌に関する質問では、システムの性能が著しく劣化した。これは、1つの質問に1つの医療エンティティを仮定しているという前提に起因する。
• 知識ベースモジュールは、BM25や厳密マッチによる誤った一致、およびターゲットが欠落している場合に類似だが誤ったエンティティを返すことで誤りを引き起こした。
• 単一エンティティ仮定に依存するため、複数エンティティを含む複雑なクエリが多数含まれるテストセットでは一貫した失敗が生じた。
• これらの欠陥にもかかわらず、単一エンティティ仮定が一般的に成立する疾患関連質問では、システムは強力なパフォーマンスを示した。