[论文解读] Improving Mild Cognitive Impairment Prediction via Reinforcement Learning and Dialogue Simulation

Fengyi Tang, Kaixiang Lin+3 more|arXiv (Cornell University)|Feb 18, 2018

Context-Aware Activity Recognition Systems参考文献 33被引用 6

一句话总结

本文提出了一种强化学习（RL）框架，通过临床转录中极少的对话轮次，训练对话智能体以预测轻度认知障碍（MCI）。通过模拟用户回复并优化问题选择以最大化诊断准确率，同时最小化交互长度，该RL智能体在显著更少的轮次内超越了监督基线模型，展示了在MCI筛查中可扩展、低成本的解决方案。

ABSTRACT

Mild cognitive impairment (MCI) is a prodromal phase in the progression from normal aging to dementia, especially Alzheimers disease. Even though there is mild cognitive decline in MCI patients, they have normal overall cognition and thus is challenging to distinguish from normal aging. Using transcribed data obtained from recorded conversational interactions between participants and trained interviewers, and applying supervised learning models to these data, a recent clinical trial has shown a promising result in differentiating MCI from normal aging. However, the substantial amount of interactions with medical staff can still incur significant medical care expenses in practice. In this paper, we propose a novel reinforcement learning (RL) framework to train an efficient dialogue agent on existing transcripts from clinical trials. Specifically, the agent is trained to sketch disease-specific lexical probability distribution, and thus to converse in a way that maximizes the diagnosis accuracy and minimizes the number of conversation turns. We evaluate the performance of the proposed reinforcement learning framework on the MCI diagnosis from a real clinical trial. The results show that while using only a few turns of conversation, our framework can significantly outperform state-of-the-art supervised learning approaches.

研究动机与目标

• 减少临床环境中准确诊断MCI所需的对话轮次数。
• 在有限且嘈杂的临床对话转录数据上提升诊断性能。
• 开发一种自包含、可扩展的对话系统，以替代人类访谈者进行MCI筛查。
• 生成合成的、高信息量的对话数据，用于数据增强和未来数据收集。
• 通过自然语言处理和RL驱动的对话智能体，实现大规模、低成本的MCI筛查。

提出的方法

• 该框架使用预训练的分布式表示模型，对临床转录中的对话话语进行嵌入。
• 通过监督模型在离线阶段训练用户模拟器，基于原始语料库生成合成的、逼真的用户回复。
• 通过强化学习智能体训练问题选择策略，以在最大化MCI预测准确率的同时最小化对话长度。
• 状态空间包含每一轮中当前分类器预测的MCI概率，稀疏奖励机制在置信度超过0.65时对过多轮次进行惩罚。
• 通过深度Q-learning优化对话策略，以发现高信息量问题和早期终止策略。
• 系统通过模拟生成新的对话场景，用于提升下游预测性能。

实验结果

研究问题

• RQ1 强化学习智能体能否在保持高MCI预测准确率的同时最小化对话长度？
• RQ2 由RL智能体生成的模拟对话数据能否在MCI预测中超越原始临床语料库？
• RQ3 RL智能体优先选择哪些类型的问题以最大化诊断收益？
• RQ4 RL策略能否泛化到未见过的用户，并适应个体对话模式？
• RQ5 RL驱动的对话生成如何减少MCI筛查中对昂贵的人工访谈者的需求？

主要发现

• 该RL智能体在显著更少的对话轮次内，实现了比最先进监督学习模型更高的MCI预测准确率。
• 当预测置信度超过0.65时，智能体学会了提前终止对话，减少了不必要的交互。
• 最优策略将与图片相关的问题——如“你觉得这个画面里能站多少人？”——排在更高优先级，因其具有更高的响应产出。
• 在对话后期阶段，智能体优先选择扩展性问题，如“你最喜欢这个的哪一点？”和“你多久做一次这个活动？”。
• 在早期轮次中，技术相关问题排名较低，表明其在区分MCI与正常老化方面效果较差。
• 对话模拟器生成的合成对话在MCI预测性能上优于原始临床语料库。