[論文レビュー] Prototypical Q Networks for Automatic Conversational Diagnosis and Few-Shot New Disease Adaption

Hongyin Luo, Shang-Wen Li+1 more|arXiv (Cornell University)|May 19, 2020

Topic Modeling参考文献 25被引用数 7

ひとこと要約

本論文では、Muzhiコーパスの実際の医師-患者対話履歴を活用して、疾患および症状の共有プロトタイプ埋め込みを学習する、自動対話的診断を目的とした新しい深層強化学習モデル、プロトタイプQネットワーク（ProtoQN）を提案する。プロトタイプネットワークをQ学習に統合することで、教師ありおよび少サンプル学習設定の両方で最先端の性能を達成し、特に限られたラベル付き例での新しい疾患への適応において、DQNベースラインを顕著に上回る。

ABSTRACT

Spoken dialog systems have seen applications in many domains, including medical for automatic conversational diagnosis. State-of-the-art dialog managers are usually driven by deep reinforcement learning models, such as deep Q networks (DQNs), which learn by interacting with a simulator to explore the entire action space since real conversations are limited. However, the DQN-based automatic diagnosis models do not achieve satisfying performances when adapted to new, unseen diseases with only a few training samples. In this work, we propose the Prototypical Q Networks (ProtoQN) as the dialog manager for the automatic diagnosis systems. The model calculates prototype embeddings with real conversations between doctors and patients, learning from them and simulator-augmented dialogs more efficiently. We create both supervised and few-shot learning tasks with the Muzhi corpus. Experiments showed that the ProtoQN significantly outperformed the baseline DQN model in both supervised and few-shot learning scenarios, and achieves state-of-the-art few-shot learning performances.

研究の動機と目的

• 新規疾患が限られた学習データで登場する際、DQNベースの医療対話システムにおける劣悪な少サンプル適応性能の課題に対処すること。
• シミュレータ生成対話に依存するのではなく、現実世界の医師-患者対話履歴を活用することで、対話ポリシーの学習におけるサンプル効率を向上させること。
• 症状および疾患の共有で再利用可能な表現をプロトタイプ埋め込みを通じて学習することにより、新しい疾患への迅速かつ強固な適応を可能にすること。
• シミュレータのみでの事前学習と比較して、実際の対話ダイナミクスの直接的モデリングが、特にデータが限られる条件下でポリシー学習を向上させることを示すこと。
• 手動で設計された特徴量や外部の医療知識に依存せずに、少サンプル医療対話ポリシー学習で最先端の性能を達成すること。

提案手法

• Muzhiコーパスから得た実際の医師-患者対話履歴をニューラルエンコーダーで符号化することで、疾患および症状のプロトタイプ埋め込みを構築する。
• プロトタイプネットワークの推論を深層Qネットワーク（DQN）に統合し、現在の状態埋め込みと学習済みの疾患／症状プロトタイプとの類似度に基づいてQ値を計算する。
• Q値が状態表現とプロトタイプベクトル間のメトリック学習を通じて予測される共通の埋め込み空間を用い、少サンプル一般化を可能にする。
• 事前学習段階で疾患のサブセットを用い、新しい疾患の少数の例で微調整する。さらに、災難的忘却を防ぐために、事前学習済み疾患からのランダムサンプリングによるデータ拡張を実施する。
• 微調整中にノイズ注入を適用し、現実の会話のばらつきを模擬することで、耐性を評価する。
• 経験再生とターゲットネットワークを用いた標準的なDQNの目的関数で学習を行うが、標準的な状態-行動Q値学習の代わりに、プロトタイプベースの類似度マッチングを採用する。

実験結果

リサーチクエスチョン

• RQ1 標準DQNと比較して、プロトタイプベースのQネットワークは、自動対話的診断における少サンプル適応性能を向上させることができるか？
• RQ2 実際の医師-患者対話履歴の活用は、疾患および症状表現の再利用可能な埋め込みを学習するのにどの程度効果的か？
• RQ3 新しい疾患にわずかな例でのみ適応する際、事前に学習した疾患のパフォーマンスを保持できるか？
• RQ4 少サンプル適応中に、ノイズや変動のある会話入力に対して、ProtoQNモデルはどの程度耐性があるか？
• RQ5 提案手法は、外部のドメイン特化特徴に依存せずに、少サンプル医療対話ポリシー学習で最先端の性能を達成できるか？

主な発見

• ProtoQNは、Muzhiコーパスにおいて教師あり学習で70.42%の成功率を達成し、DQNベースライン（65%）を顕著に上回った。
• 少サンプル学習において、ノイズなしの平均成功率はProtoQNが63.47%、DQNが59.51%であり、優れた少サンプル一般化性能を示した。
• ノイズレベルが上昇（最大0.3）しても、ProtoQNは安定したパフォーマンス（ノイズ0.3時で62.32%）を維持したが、DQNは一貫した劣化を示した。
• モデルはノイズに対して強い耐性を示し、これはマッチングネットワークにおけるプロトタイプベース推論のアンサンブル的性質に起因するとされた。
• 微調整中に、事前学習済み疾患の知識を保持しながら新しい疾患に適応するため、災難的忘却を効果的に防止した。
• 結果から、実際の対話履歴をプロトタイプ埋め込みを通じて学習することで、シミュレータのみの学習に比べて、ポリシー適応がより迅速かつ効果的に行えることが確認された。