[論文レビュー] Knowledge Graph-based Question Answering with Electronic Health Records

Junwoo Park, Youngwoo Cho+3 more|arXiv (Cornell University)|Oct 19, 2020

Topic Modeling参考文献 29被引用数 15

ひとこと要約

本稿では、電子的医療記録（EHR）における質問応答（QA）のための知識グラフベースのアプローチを提案し、自然言語クエリをSQLではなくSPARQLに変換する。修正版MIMICSQLデータセットを用いて、モデルの変更なしに、グラフベースのQAが表ベースのQAよりも最大34%高い精度を達成することを実証した。これは、知識グラフが関係代数的表よりも臨床的関係をより適切に捉えられることを裏付ける。

ABSTRACT

Question Answering (QA) is a widely-used framework for developing and evaluating an intelligent machine. In this light, QA on Electronic Health Records (EHR), namely EHR QA, can work as a crucial milestone towards developing an intelligent agent in healthcare. EHR data are typically stored in a relational database, which can also be converted to a directed acyclic graph, allowing two approaches for EHR QA: Table-based QA and Knowledge Graph-based QA. We hypothesize that the graph-based approach is more suitable for EHR QA as graphs can represent relations between entities and values more naturally compared to tables, which essentially require JOIN operations. In this paper, we propose a graph-based EHR QA where natural language queries are converted to SPARQL instead of SQL. To validate our hypothesis, we create four EHR QA datasets (graph-based VS table-based, and simplified database schema VS original database schema), based on a table-based dataset MIMICSQL. We test both a simple Seq2Seq model and a state-of-the-art EHR QA model on all datasets where the graph-based datasets facilitated up to 34% higher accuracy than the table-based dataset without any modification to the model architectures. Finally, all datasets are open-sourced to encourage further EHR QA research in both directions.

研究の動機と目的

• 知識グラフベースのEHR QAが、リレーショナルデータベースを用いた従来の表ベースのQAを上回るかどうかを調査すること。
• EHRデータにおける複雑なスキーマやJOIN操作の課題を、より自然な関係モデリングが可能なグラフ構造を活用することで解決すること。
• 表ベースとグラフベースの両方向をカバーするEHR QA研究のための新しいベンチマークデータセットペア（MIMICSQL* および MIMIC-SPARQL*）の作成と公開すること。
• 精度、クエリ長、スキーマの複雑さに対する耐性の観点から、NLQ-to-SQLおよびNLQ-to-SPARQLモデルを実証的に比較すること。
• 自然言語クエストションとの関連で、SQLとSPARQLクエリの構造的差異がモデル性能に与える影響を分析すること。

提案手法

• 著者らは、元のMIMICSQLデータセットを、MIMIC-IIIリレーショナルスキーマに由来するエンティティおよび関係の意味を保持したまま、知識グラフ表現に変換した。
• 自然言語クエストションからSPARQLクエリを生成するプロセスを実施し、NLQ-to-SQLではなくNLQ-to-SPARQLというタスクとして扱った。
• エンティティ（例：患者、薬剤）をノードとし、臨床的関係（例：処方済み、診断済み）をタイプ付きエッジとする知識グラフを構築した。
• モデルアーキテクチャを表ベース（SQL）とグラフベース（SPARQL）の両設定で同一に保ち、公平な比較を実現した。
• 最先端のEHR QAモデル（TREQS）の性能を、MIMICSQL*（表ベース）およびMIMIC-SPARQL*（グラフベース）の両データセット上で評価した。
• クエリ長のトレンドと構造的複雑さを分析し、スキーマの複雑さと質問の深さが増すに従って、SQLとSPARQLを比較した。

実験結果

リサーチクエスチョン

• RQ1 知識グラフベースのEHR QAは、精度とスキーマの複雑さに対する耐性の観点から、表ベースのQAを上回るか？
• RQ2 自然言語クエストションとの関連で、SPARQLとSQLクエリの構造的特徴（長さや文法的類似性）はどのように比較されるか？
• RQ3 SQLにおけるJOIN操作の数が、SPARQLのエッジベースの走査と比較して、モデル性能にどの程度影響を及えるか？
• RQ4 同じモデルアーキテクチャを用いて、SPARQLベースのクエリで微調整した場合に、SQLベースのクエリよりも高い性能が得られるか？
• RQ5 OOV（語彙外語）語が、NLQ-to-SQLとNLQ-to-SPARQLモデルのクエリ生成に与える影響はどの程度か？

主な発見

• モデルアーキテクチャの変更なしに、グラフベースのアプローチが表ベースのアプローチよりも最大34%高い精度を達成した。
• TREQSモデルは、グラフベースのMIMIC-SPARQL*データセットで微調整した場合、正しいエンティティ関係を予測する精度が5.1%向上し、回答予測精度も3.6%向上した。
• 質問の複雑さが増すに従い、SPARQLクエリの長さはSQLクエリに比べて著しく増加しなかった。これは、SPARQLが自然言語に近い構造的類似性を持つことを示唆している。
• JOIN操作の数が増えると、正しいSQLクエリの数は減少する一方、SPARQLの性能は安定を保った。これは、複雑なスキーマに対してSPARQLがよりスケーラブルであることを示している。
• 特に複雑で複数エンティティを含むクエリにおいて、SPARQLクエリは自然言語クエストションと構造的により類似していた。
• OOV問題は、Seq2seqモデルにおけるSQL生成においてより深刻な影響を及ぼしたが、SPARQLモデルは、条件値が誤ってコピーされても、正しい論理的構造を維持していた。