[論文レビュー] Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering

Ye Liu, Shaika Chowdhury+3 more|arXiv (Cornell University)|Aug 6, 2020

Topic Modeling参考文献 48被引用数 11

ひとこと要約

本稿では、HeadQAデータセットにおける複雑な医療QAのための知識抽出を伴うマルチステップ推論フレームワークMurKeを提案する。繰り返し支援文書を取得し、得られた証拠を用いてクエリを再定式化し、テクスト帰納モデルを適用することで、限られた学習データでも強力なベースラインを上回る優れた性能を達成し、解釈可能性と耐障害性の向上を示している。

ABSTRACT

Healthcare question answering assistance aims to provide customer healthcare information, which widely appears in both Web and mobile Internet. The questions usually require the assistance to have proficient healthcare background knowledge as well as the reasoning ability on the knowledge. Recently a challenge involving complex healthcare reasoning, HeadQA dataset, has been proposed, which contains multiple-choice questions authorized for the public healthcare specialization exam. Unlike most other QA tasks that focus on linguistic understanding, HeadQA requires deeper reasoning involving not only knowledge extraction, but also complex reasoning with healthcare knowledge. These questions are the most challenging for current QA systems, and the current performance of the state-of-the-art method is slightly better than a random guess. In order to solve this challenging task, we present a Multi-step reasoning with Knowledge extraction framework (MurKe). The proposed framework first extracts the healthcare knowledge as supporting documents from the large corpus. In order to find the reasoning chain and choose the correct answer, MurKe iterates between selecting the supporting documents, reformulating the query representation using the supporting documents and getting entailment score for each choice using the entailment model. The reformulation module leverages selected documents for missing evidence, which maintains interpretability. Moreover, we are striving to make full use of off-the-shelf pre-trained models. With less trainable weight, the pre-trained model can easily adapt to healthcare tasks with limited training samples. From the experimental results and ablation study, our system is able to outperform several strong baselines on the HeadQA dataset.

研究の動機と目的

• 単一の文書を越えて複数の文書にまたがる推論を要する複雑なマルチホップ医療QAの課題に対処すること。
• 疎な検索キューと深い医学的知識の必要性により、非常に困難であるHeadQAデータセットにおけるパフォーマンスを向上させること。
• 文書検索とクエリ再定式化を通じて証拠を追跡可能な推論フレームワークを構築すること。
• 限られたラベル付きデータを前提に、微調整を最小限に抑えて事前学習モデルを効果的に活用すること。

提案手法

• フレームワークは二段階のプロセスを採用する。まず、Wikipediaからのトークンレベルと意味的レベルのハイブリッド検索により関連文書を取得する。
• 次に、繰り返しクエリ再定式化を実行し、取得した文書を用いて質問表現を精緻化し、欠落した証拠を同定する。
• テキスト帰納モデルが各選択肢を強化された質問表現に対してスコア付けし、正しい答えを選択する。
• 注目メカニズムを用いて文書内の関連証拠を強調することで、推論経路の解釈可能性を保証する。
• オフザシェルの事前学習モデル（例：BERT）を最小限の微調整で組み合わせ、限られたラベル付き例に適応させる。
• 文書検索、クエリ再定式化、帰納スコアリングを繰り返し交互に実行することで、段階的に推論を精緻化する反復ループを採用する。

実験結果

リサーチクエスチョン

• RQ1 単一ステップの検索に失敗する複雑な医療QAタスクにおいて、マルチステップの反復的フレームワークがパフォーマンスを向上させることができるか？
• RQ2 大規模コーパスにおいて、トークンレベルと意味的レベルの検索を組み合わせることで、関連文書を的確に絞り込めるか？
• RQ3 取得した証拠を用いたクエリ再定式化は、答えの帰納性能とモデルの解釈可能性をどの程度向上させるか？
• RQ4 限られたラベル付きデータと最小限の微調整で、事前学習モデルを医療QAに効果的に適応できるか？

主な発見

• MurKeはHeadQAデータセットにおいて、多数の強力なベースラインを上回り、ランダムな推測や既存の手法よりも顕著な改善を示している。
• 1問あたり約30件の支援文書を用いた場合にピークパフォーマンスを記録し、その後はノイズの増加によりわずかに性能が低下する。
• 6,765件の質問のうち、質問と答えのキーワードを同時に含む単一の文書が存在するのはわずか21件にとどまり、マルチステップ推論の必要性が明確に示された。
• 画像特徴量と質問埋め込みの融合によりパフォーマンスが向上し、特に事前学習済み画像エンコーダーがマルチモーダル整合性を高めるため、教師あり設定で顕著な向上が得られた。
• ケーススタディを通じて、文書の関連性と推論ステップが明確に追跡可能で文脈的に根拠を持つ、解釈可能な証拠パスが確認された。
• アブレーションスタディにより、反復的検索と再定式化のコンponentが不可欠であることが確認され、それらを削除すると性能が著しく低下した。