[論文レビュー] On the Generation of Medical Dialogues for COVID-19

Wenmian Yang, Guangtao Zeng+10 more|arXiv (Cornell University)|May 11, 2020

Topic Modeling参考文献 28被引用数 10

ひとこと要約

本稿では、COVID-19の診療を対象とした英語および中国語の二か国語対応医療対話データセットであるCovidDialogを紹介し、事前学習されたTransformer、GPT、BERT-GPTアーキテクチャを用いて微調整された対話生成モデルを開発した。これらのモデルは、医師らしい、関連性があり、臨床的に有用な応答を生成するという点で有望な性能を示し、パンデミック期におけるAI駆動型仮想医療相談の実現可能性を示している。

ABSTRACT

Under the pandemic of COVID-19, people experiencing COVID19-related symptoms or exposed to risk factors have a pressing need to consult doctors. Due to hospital closure, a lot of consulting services have been moved online. Because of the shortage of medical professionals, many people cannot receive online consultations timely. To address this problem, we aim to develop a medical dialogue system that can provide COVID19-related consultations. We collected two dialogue datasets -- CovidDialog -- (in English and Chinese respectively) containing conversations between doctors and patients about COVID-19. On these two datasets, we train several dialogue generation models based on Transformer, GPT, and BERT-GPT. Since the two COVID-19 dialogue datasets are small in size, which bear high risk of overfitting, we leverage transfer learning to mitigate data deficiency. Specifically, we take the pretrained models of Transformer, GPT, and BERT-GPT on dialog datasets and other large-scale texts, then finetune them on our CovidDialog tasks. We perform both automatic and human evaluation of responses generated by these models. The results show that the generated responses are promising in being doctor-like, relevant to the conversation history, and clinically informative. The data and code are available at https://github.com/UCSD-AI4H/COVID-Dialogue.

研究の動機と目的

• COVID-19パンデミック期における医療従事者の深刻な不足に対処するため、オンライン相談用にAI駆動型仮想医師を開発すること。
• 実際の患者-医師対話が含まれる、高品質な多言語対応医療対話データセット2つ（CovidDialog-English および CovidDialog-Chinese）を収集・公開すること。
• データ不足や過学習を軽減するため、トランスファー学習を用いてこれらのデータセット上で対話生成モデルを訓練・評価すること。
• 自動指標と人的評価の両方を用いて生成応答の品質を評価し、関連性、臨床的有用性、言語の流暢さに注目すること。
• 微調整された大規模言語モデルが、パンデミック関連の健康質問に対して、医学的に正確で文脈的に適切な応答を生成する可能性を示すこと。

提案手法

• オンライン医療フォーラム（icliniq.com、healthcaremagic.com、healthtap.com）から603件の英語および1,088件の中国語の対話を収集し、CovidDialogデータセットを構築した。
• 大規模な対話およびテキストコーパスで事前学習したモデル（Transformer、GPT、BERT-GPT）を、CovidDialogデータセット上で微調整することで過学習を低減した。
• 対話および一般テキストで大規模事前学習した重みを初期値として用い、医療対話データ上で微調整することでトランスファー学習を適用した。
• 応答生成にはビームサーチデコード（k=50）を用い、パープレキシティ、BLEU-2/4、METEOR、NIST-4、エントロピー、多様性（Dist-1/2）といった自動指標でモデルを評価した。
• 中国語のテスト例100件をランダムに抽出し、5名のアノテーターによる人的評価を実施。関連性、臨床的有用性、流暢さの3項目で応答を評価した。
• 複数のアーキテクチャ（標準Transformer、DialoGPT、BERT-GPT、および最大相互情報量（MMI）正則化を施した変種）を比較した。

実験結果

リサーチクエスチョン

• RQ1 小規模な医療対話データセット上で微調整された事前学習言語モデルは、医学的に正確で言語的に流暢な応答を生成できるか？
• RQ2 大規模事前学習からのトランスファー学習は、リソースが限られた医療対話環境で応答品質をどのように向上させるか？
• RQ3 生成された臨床的関連応答に関して、デコーダー専用（GPT）、エンコーダー・デコーダー型（BERT-GPT）、標準Transformerといった異なるアーキテクチャタイプの相対的性能はいかほどか？
• RQ4 自動指標と人的評価の間には、医療対話生成における応答品質の評価で相関が見られるか？
• RQ5 中国語のようなリソースが限られ、ノイズが多い、あるいはドメインシフトが生じる言語環境において、このようなモデルを適用するにあたり生じる課題は何か？

主な発見

• BERT-GPTは、Dist-1およびDist-2スコアで最も優れた応答多様性を示し、より多様で繰り返しの少ない出力を得られた。
• DialoGPT や BERT-GPT といった事前学習モデルは、未事前学習のTransformerよりも顕著に低いパープレキシティを達成しており、データが少ない環境下でもトランスファー学習の有効性が裏付けられた。
• 人的評価では、BERT-GPTが生成した応答が、関連性、臨床的有用性、流暢さの点で他のモデルよりも高く評価されたが、人間の基準にはまだ及ばなかった。
• 対話データで事前学習されているにもかかわらず、DialoGPTは中国語において標準Transformerよりも性能が低く、一般対話から医療相談へのドメインシフトが原因と考えられる。
• BERT-GPTと人間基準との間の性能差は、中国語において英語よりも顕著に大きかった。これは、ノイズが多い、文法的に誤りがある、あるいは曖昧な中国語医療対話の処理がより困難であることを示唆している。
• 最大相互情報量（MMI）正則化は一貫した応答品質の向上をもたらさず、この特定の医療対話設定では限定的な利点しか示さなかった。