[논문 리뷰] Prototypical Q Networks for Automatic Conversational Diagnosis and Few-Shot New Disease Adaption

Hongyin Luo, Shang-Wen Li외 1명|arXiv (Cornell University)|2020. 05. 19.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 실제 의사-환자 대화 기록을 활용하여 질병과 증상에 대한 공유 프로토타입 임베딩을 학습하는 새로운 딥 강화학습 모델인 프로토타입 Q 네트워크(ProtoQN)를 제안한다. 프로토타입 네트워크를 Q-학습에 통합함으로써, 특히 적은 수의 레이블 예제로 새로운 질병에 적응할 때 DQN 기반 베이스라인보다 유의하게 뛰어난 성능을 달성하며, 지도학습 및 소수의 예제 학습 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Spoken dialog systems have seen applications in many domains, including medical for automatic conversational diagnosis. State-of-the-art dialog managers are usually driven by deep reinforcement learning models, such as deep Q networks (DQNs), which learn by interacting with a simulator to explore the entire action space since real conversations are limited. However, the DQN-based automatic diagnosis models do not achieve satisfying performances when adapted to new, unseen diseases with only a few training samples. In this work, we propose the Prototypical Q Networks (ProtoQN) as the dialog manager for the automatic diagnosis systems. The model calculates prototype embeddings with real conversations between doctors and patients, learning from them and simulator-augmented dialogs more efficiently. We create both supervised and few-shot learning tasks with the Muzhi corpus. Experiments showed that the ProtoQN significantly outperformed the baseline DQN model in both supervised and few-shot learning scenarios, and achieves state-of-the-art few-shot learning performances.

연구 동기 및 목표

• 새로운 질병이 적은 훈련 데이터로 등장할 때 DQN 기반 의료 대화 시스템에서의 낮은 소수의 예제 적응 능력 문제를 해결한다.
• 시뮬레이터에서 생성된 상호작용에만 의존하는 것보다 실제 세계의 의사-환자 대화 기록을 활용하여 대화 정책 훈련의 샘플 효율성을 향상시킨다.
• 증상과 질병의 공유 가능하고 이식 가능한 표현을 프로토타입 임베딩을 통해 학습함으로써 새로운 질병에 더 빠르고 견고하게 적응할 수 있도록 한다.
• 직접적인 실제 대화 동적 모델링이 시뮬레이터 전용 사전 훈련에 비해 정책 학습을 향상시키며, 특히 데이터가 부족한 조건에서 그러한 효과가 뚜렷하다는 것을 입증한다.
• 수동으로 제작된 특징이나 외부 의료 지식에 의존하지 않고도 소수의 예제 학습에서 의료 대화 정책 학습 분야에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• Muzhi 코퍼스에서 실제 의사-환자 대화 기록을 신경망 인코더를 사용해 인코딩하여 질병과 증상에 대한 프로토타입 임베딩을 구축한다.
• 프로토타입 네트워크 추론을 딥 Q-네트워크(DQN)에 통합하여 현재 상태 임베딩과 학습된 질병/증상 프로토타입 간의 유사도 기반으로 Q-값을 계산한다.
• 공유된 임베딩 공간을 사용하여 상태 표현과 프로토타입 벡터 간의 거리 기반 메트릭 학습을 통해 Q-값을 예측함으로써 소수의 예제 일반화를 가능하게 한다.
• 모델을 일부 질병에 대해 사전 훈련하고, 새로운 질병의 몇 가지 예시로 미세조정하며, 기존에 훈련된 질병들로부터 무작위 샘플링을 통한 데이터 증강을 통해 치명적인 기억 상실을 방지한다.
• 미세조정 중 노이즈 주입을 적용하여 안정성을 평가하고, 실제 대화의 변동성을 시뮬레이션한다.
• 경험 재현과 타겟 네트워크를 사용하는 표준 DQN 목표 함수를 사용하지만, 표준 상태-행동 Q-값 학습 대신 프로토타입 기반 유사도 매칭을 적용한다.

실험 결과

연구 질문

• RQ1 표준 DQN과 비교해 볼 때, 프로토타입 기반 Q-네트워크는 자동 대화 진단에서 소수의 예제 적응 성능을 향상시킬 수 있는가?
• RQ2 실제 의사-환자 대화 기록을 활용한 프로토타입 기반 표현 학습이 질병 및 증상 표현에 대해 얼마나 효과적인가?
• RQ3 소수의 예제로만 새로운 질병에 적응하면서도 기존에 학습된 질병에 대한 성능을 유지하는가?
• RQ4 소수의 예제 적응 중 노이즈 또는 변동성이 있는 대화 입력에 대해 ProtoQN 모델은 얼마나 견고한가?
• RQ5 제안된 방법이 외부 도메인 특화 특징 없이도 소수의 예제 의료 대화 정책 학습에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ProtoQN은 Muzhi 코퍼스에서 지도학습에서 70.42%의 성공률을 기록하여 DQN 기반 베이스라인(65%)보다 뚜렷이 뛰어난 성능을 보였다.
• 소수의 예제 학습에서 ProtoQN은 노이즈가 없는 조건에서 평균 성공률 63.47%를 기록했고, DQN은 59.51%를 기록하여 더 뛰어난 소수의 예제 일반화 능력을 입증했다.
• 노이즈 수준이 증가함에 따라(최대 0.3)도 ProtoQN은 안정된 성능(노이즈 0.3일 때 62.32%)을 유지했고, DQN은 지속적인 성능 저하를 보였다.
• 모델은 프로토타입 기반 추론의 앙상블 구조적 특성 덕분에 높은 노이즈에 대한 저항성을 보였다.
• ProtoQN은 새로운 질병에 적응하면서도 사전 훈련된 질병의 지식를 유지함으로써 치명적인 기억 상실을 효과적으로 방지했다.
• 결과는 실제 대화 기록에서 프로토타입 임베딩을 통해 학습하는 것이 시뮬레이터 전용 훈련보다 더 빠르고 효과적인 정책 적응을 가능하게 한다는 것을 확인시켰다.