[論文レビュー] Improving Mild Cognitive Impairment Prediction via Reinforcement Learning and Dialogue Simulation

Fengyi Tang, Kaixiang Lin+3 more|arXiv (Cornell University)|Feb 18, 2018

Context-Aware Activity Recognition Systems参考文献 33被引用数 6

ひとこと要約

本論文では、臨床的トランスクリプトからの最小限の会話ターンを用いて、軽度認知障害（MCI）を予測するための強化学習（RL）フレームワークを提案する。ユーザーの応答をシミュレートし、診断の正確性を最大化するとともに会話長を最小限に抑えるように質問選択を最適化することで、RLエージェントは、はるかに少ないターンで教師ありベースラインを上回り、MCIスクリーニングにおけるスケーラブルでコスト効率の良いアプローチを示している。

ABSTRACT

Mild cognitive impairment (MCI) is a prodromal phase in the progression from normal aging to dementia, especially Alzheimers disease. Even though there is mild cognitive decline in MCI patients, they have normal overall cognition and thus is challenging to distinguish from normal aging. Using transcribed data obtained from recorded conversational interactions between participants and trained interviewers, and applying supervised learning models to these data, a recent clinical trial has shown a promising result in differentiating MCI from normal aging. However, the substantial amount of interactions with medical staff can still incur significant medical care expenses in practice. In this paper, we propose a novel reinforcement learning (RL) framework to train an efficient dialogue agent on existing transcripts from clinical trials. Specifically, the agent is trained to sketch disease-specific lexical probability distribution, and thus to converse in a way that maximizes the diagnosis accuracy and minimizes the number of conversation turns. We evaluate the performance of the proposed reinforcement learning framework on the MCI diagnosis from a real clinical trial. The results show that while using only a few turns of conversation, our framework can significantly outperform state-of-the-art supervised learning approaches.

研究の動機と目的

• 臨床現場における正確なMCI診断に必要な会話ターン数を削減すること。
• 限られた、ノイズの多い臨床的会話トランスクリプトを用いて診断性能を向上させること。
• 人間のインタビューアーに取って代わる自己完結的でスケーラブルな会話システムを開発すること。
• データ拡張および将来的なデータ収集に用いることができる合成的で高効率の会話データを生成すること。
• NLPおよびRL駆動の会話エージェントを用いて、大規模かつ低コストのMCIスクリーニングを可能にすること。

提案手法

• フレームワークは、臨床的トランスクリプトからの会話発話の埋め込みに事前学習済みの分散表現モデルを用いる。
• ユーザーシミュレータは、元のコーパスに基づいて、教師ありモデルを用いてオフラインで訓練され、実際のユーザー応答に類似した合成的で現実的な応答を生成する。
• 強化学習エージェントは、MCI予測の正確性を最大化するとともに会話長を最小化するように質問選択を最適化する。
• 状態空間には、各ターンにおける現在の分類器が予測するMCI確率が含まれており、信頼度が0.65を超えた場合に過剰なターンに対してペナルティを与えるスパース報酬が設定されている。
• 深層Q学習を用いて会話ポリシーを最適化し、高効率な質問と早期終了戦略を発見する。
• システムはシミュレーションを通じて新たな会話エピソードを生成し、そのデータを下流の予測性能向上に活用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、会話長を最小限に抑えつつ高いMCI予測正確性を維持できるか？
• RQ2 RLエージェントが生成するシミュレートされた会話データは、元の臨床的コーパスを上回るMCI予測性能を示せるか？
• RQ3 RLエージェントは、診断の収穫を最大化するためにどのような種類の質問を優先するか？
• RQ4 RLポリシーは未観測のユーザーに一般化可能で、個々の会話パターンに適応可能か？
• RQ5 RLドリブンの会話生成は、MCIスクリーニングにおける高コストの人間インタビューアーの対応をどの程度削減できるか？

主な発見

• RLエージェントは、状態を凌駕する教師あり学習モデルよりも高いMCI予測正確性を達成したが、会話ターン数は著しく少なかった。
• エージェントは、予測信頼度が0.65を超えた場合に会話を早期に終了するよう学習し、不要な対話を削減した。
• 最適なポリシーは、写真に関連する質問——例：「この写真に何人くらい収まると思いますか？」——を高い順位に設定した。これは、これらの質問がより高い応答収穫を得られるためである。
• 会話の後半段階では、エージェントは「それは何が好きでしたか？」や「この行動をどれくらいの頻度でするのですか？」といった拡張型質問を優先した。
• 技術関連の質問は初期段階で低い順位に設定されており、これはMCIと正常な加齢の区別にあまり効果がなかったことを示唆している。
• 会話シミュレータは、元の臨床的コーパスを上回るMCI予測性能を示す合成会話を生成した。