[論文レビュー] Text-to-SQL Generation for Question Answering on Electronic Medical Records

Ping Wang, Tian Shi+1 more|arXiv (Cornell University)|Jul 28, 2019

Topic Modeling参考文献 49被引用数 8

ひとこと要約

本稿では、電子歴大記録（EMR）におけるエンドツーエンドの質問→SQL生成のための深層学習モデルTREQSを提案する。このモデルは、注意メカニズムとタスク固有のルックアップテーブルを組み合わせたシーケンス・ツー・シーケンスフレームワークを採用し、医学的省略語、誤字、複雑な条件の処理における正確性を向上させる。主な貢献は、MIMIC-IIIデータベースから抽出された大規模かつ公開可能な質問-SQLデータセットMIMICSQLの構築であり、これにより強固な学習と評価が可能となり、条件値予測の分野で最先端の性能を達成するとともに、ノイズの多い入力に対しても耐性を示す。

ABSTRACT

Electronic medical records (EMR) contain comprehensive patient information and are typically stored in a relational database with multiple tables. Effective and efficient patient information retrieval from EMR data is a challenging task for medical experts. Question-to-SQL generation methods tackle this problem by first predicting the SQL query for a given question about a database, and then, executing the query on the database. However, most of the existing approaches have not been adapted to the healthcare domain due to a lack of healthcare Question-to-SQL dataset for learning models specific to this domain. In addition, wide use of the abbreviation of terminologies and possible typos in questions introduce additional challenges for accurately generating the corresponding SQL queries. In this paper, we tackle these challenges by developing a deep learning based TRanslate-Edit Model for Question-to-SQL (TREQS) generation, which adapts the widely used sequence-to-sequence model to directly generate the SQL query for a given question, and further performs the required edits using an attentive-copying mechanism and task-specific look-up tables. Based on the widely used publicly available electronic medical database, we create a new large-scale Question-SQL pair dataset, named MIMICSQL, in order to perform the Question-to-SQL generation task in healthcare domain. An extensive set of experiments are conducted to evaluate the performance of our proposed model on MIMICSQL. Both quantitative and qualitative experimental results indicate the flexibility and efficiency of our proposed method in predicting condition values and its robustness to random questions with abbreviations and typos.

研究の動機と目的

• EMRにおける臨床データの検索が非効率的かつ柔軟性に欠けるという課題に対処する。これはしばしば専門知識や複雑なルールベースのシステムを必要とする。
• 特にEMRデータを対象とした質問→SQLモデルの学習に必要なドメイン特化型データセットの不足を克服する。
• 質問に省略語、誤字、曖昧な用語が含まれる臨床環境において、自然言語からSQLへの変換の耐性を向上させる。
• 事前定義されたテンプレートや複雑なパースパイプラインに依存せずに、自然言語の質問から実行可能なSQLクエリを直接生成できるモデルを開発する。
• 実臨床のクエリで見られる未知語やノイズの多い入力への一般化能力および条件値予測の性能を評価する。

提案手法

• 医療の質問→SQL生成に最適化された、エンコーダ・デコーダアーキテクチャを採用したシーケンス・ツー・シーケンスモデルTREQSを提案する。
• 入力質問から関連するキーワードをSQLクエリに直接コピーできる注意メカニズムを統合し、条件値の正確性を向上させる。
• 一般的な医学用語（例：疾患名、検査値、手術コード）を格納・取得するためのタスク固有のルックアップテーブルを活用し、未知語問題を低減する。
• 生成後処理として、予測された値をルックアップテーブル内の既知のエントリと照合することで、誤った条件値を是正する「recover」技術を適用する。
• MIMIC-III EMRデータベースから人間がアノテートした質問-SQLペアを収集した、新たに構築された大規模データセットMIMICSQLを用いてモデルを学習および評価する。
• 注意可視化を活用してモデルの挙動を解釈し、質問キーワードが対応するデータベースカラムや条件値と正しく対応していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 注意コピーとルックアップテーブルを統合したシーケンス・ツー・シーケンスモデルは、既存の手法を上回る正確なSQLクエリ生成性能を示せるか？
• RQ2 提案されたTREQSモデルは、臨床質問に見られる医学的省略語、誤字、曖昧用語といった実世界の課題に対してどの程度効果的に対処できるか？
• RQ3 MIMICSQLデータセットは、医療分野における質問→SQLモデルの一般化能力および耐性をどの程度向上させるか？
• RQ4 回復技術（recover）の統合により、生成されたSQLクエリにおける条件値予測の正確性は顕著に向上するか？
• RQ5 入力質問に欠落または誤ったキーワードが含まれても、モデルは実行可能で意味的に正しいSQLクエリを生成できるか？

主な発見

• TREQSはMIMICSQLベンチマークで最先端の性能を達成し、正確一致および部分一致の両指標において、Seq2seq、Ptr-Net、Coarse-to-Fineなどの既存モデルを上回った。
• 注意コピーとルックアップ機構のおかげで、誤字や省略語を含むノイズの多い入力に対しても、TREQSは正確なSQLクエリを生成する強力な耐性を示した。
• 定性的な分析から、TREQSは質問から「冠動脈疾患」「フェリチン」などの重要な臨床用語を正しく特定し、適切なSQL条件にコピーしていることが確認された。
• 注意可視化により、モデルが質問キーワードを正しく対応するデータベースカラムや条件値と一致させていることが裏付けられ、解釈可能性が向上した。
• recover技術は、特にカラム名や値を正しく予測できないベースラインモデルにおいて、条件値の正確性を顕著に向上させた。
• M-SQLNETや他のベースラインモデルは、しばしば正しい条件カラムを生成できず、実行不能なクエリを出力するが、TREQSは多くの場合、回復処理に依存せず、完全に実行可能な正しいクエリを生成した。