[論文レビュー] Medical Exam Question Answering with Large-scale Reading Comprehension

Xiao Zhang, Ji Wu+3 more|arXiv (Cornell University)|Feb 28, 2018

Topic Modeling被引用数 16

ひとこと要約

本稿では、広範な臨床テキストを用いた推論を要する医療試験問題のための大規模な読解タスク、MedQAを紹介する。著者らは、個々の文書を同時に処理し、文書間の情報を統合する二重パスアテンションを備えたエンドツーエンドのLSTMベースモデル、SeaReaderを提案し、MedQAで最先端の精度を達成するとともに、アテンション可視化とゲーティング機構により解釈可能な推論を可能にした。

ABSTRACT

Reading and understanding text is one important component in computer aided diagnosis in clinical medicine, also being a major research problem in the field of NLP. In this work, we introduce a question-answering task called MedQA to study answering questions in clinical medicine using knowledge in a large-scale document collection. The aim of MedQA is to answer real-world questions with large-scale reading comprehension. We propose our solution SeaReader--a modular end-to-end reading comprehension model based on LSTM networks and dual-path attention architecture. The novel dual-path attention models information flow from two perspectives and has the ability to simultaneously read individual documents and integrate information across multiple documents. In experiments our SeaReader achieved a large increase in accuracy on MedQA over competing models. Additionally, we develop a series of novel techniques to demonstrate the interpretation of the question answering process in SeaReader.

研究の動機と目的

• 本稿では、実際の医療試験問題を用いて、臨床医学における現実的な読解ベンチマークを構築することを目的とする。
• 大規模な医療テキストコレクションを読み込み、推論することで、複雑で知識に依存する医療問題に答えることの課題を解決することを目的とする。
• 弱教師あり学習と大規模な文書入力を処理できるモジュラーでエンドツーエンドのディープラーニングモデルを設計することを目的とする。
• 新しいアテンションベースの推論可視化技術を通じて、医療QAにおけるNLPモデルの解釈性を向上させることを目的とする。

提案手法

• LSTMネットワークに基づくエンドツーエンドの読解モデル、SeaReaderを提案し、二重パスアテンションアーキテクチャを採用する。
• 二つの並列アテンションパスを採用：一つは個々の文書からの関連情報抽出を目的とした文書内アテンション、もう一つは複数の文書間の情報を比較・統合する文書間アテンション。
• 文書ゲーティングとワードレベルゲーティングのための別々のレイヤーを備えたモジュラー設計を採用し、解釈可能なアテンション機構を実現する。
• ワードレベルアテンションレイヤーにノイズゲーティングとL21正則化を適用し、各質問に対して最も関連性の高い語を特定する。
• 正確な答えスパンの指定が不要な医療資格試験の弱教師ありラベルを用いて、エンドツーエンドでモデルを学習する。
• アテンション可視化とゲート値分析を含む解釈可能な推論技術を導入し、モデルの意思決定を説明する。

実験結果

リサーチクエスチョン

• RQ1 大規模な臨床テキストを読み込み、推論することで、ディープラーニングモデルは複雑で知識に依存する医療試験問題を効果的に解けるか？
• RQ2 どのようにアテンション機構を設計すれば、個々の文書からの情報抽出と複数文書間の知識統合を同時に実現できるか？
• RQ3 弱教師あり学習（例：選択肢ラベル）で学習したモデルは、医療QAにおいて高い性能を達成できるか、その程度はいかほどか？
• RQ4 アテンションベースの機構は、医療QAモデルの推論プロセスに対する意味のある、解釈可能なインサイトを提供できるか？

主な発見

• SeaReaderは、1つの候補回答に対して20件の文書が与えられた状況でMedQAで57.8％のトップ1精度を達成し、他の競合モデルを大きく上回った。
• 二重パスアテンション機構により、特に複数文書の推論を要する複雑な問題タイプ（例：A3/A4）で顕著な性能向上が見られた。
• 入力文書の数が増えるにつれて性能が向上し、20件まで到達したが、その際関連文書の割合は29％まで低下した。これは、ノイズの多い情報を効果的にフィルタリング・活用できる優れた能力を示している。
• 解釈可能な推論技術により、語のオーバーラップが少ない状況でも、意味的に関連する文書を正しく同定していることが明らかになった。これは、強力な情報検索能力を示している。
• L21正則化を施したワードレベルアテンションにより、論理的接続語や診断用語が回答に最も重要な特徴として強調された。これは、臨床的推論のパターンと整合的であった。
• SeaReaderのモジュラーなアーキテクチャは、特に弱教師あり学習下で、より深い非モジュラーな代替手法よりも収束が速く、より優れた性能を発揮した。