[논문 리뷰] Task-oriented Dialogue System for Automatic Disease Diagnosis via Hierarchical Reinforcement Learning.

Kangenbei Liao, Qianlong Liu외 5명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 22인용 수 29

한 줄 요약

이 논문은 자동 질병 진단을 위한 작업 지향 대화 시스템에서 계층적 강화 학습 프레임워크를 제안한다. 이는 두 수준의 정책을 사용한다: 상위 수준의 마스터 정책이 증상 검사기 중 어떤 것을 선택할지 결정하고, 하위 수준의 정책이 증상을 수집하며 질병을 분류한다. 이 방법은 실제 데이터셋과 합성 데이터셋 양쪽에서 평탄한 강화 학습 방법보다 높은 진단 정확도를 달성한다.

ABSTRACT

In this paper, we focus on automatic disease diagnosis with reinforcement learning (RL) methods in task-oriented dialogues setting. Different from conventional RL tasks, the action space for disease diagnosis (i.e., symptoms) is inevitably large, especially when the number of diseases increases. However, existing approaches to this problem employ a flat RL policy, which typically works well in simple tasks but has significant challenges in complex scenarios like disease diagnosis. Towards this end, we propose to integrate a hierarchical policy of two levels into the dialogue policy learning. The high level policy consists of a model named master that is responsible for triggering a model in low level, the low level policy consists of several symptom checkers and a disease classifier. Experimental results on both self-constructed real-world and synthetic datasets demonstrate that our hierarchical framework achieves higher accuracy in disease diagnosis compared with existing systems. Besides, the datasets (this http URL) and codes (this https URL) are all available now.

연구 동기 및 목표

• 증상과 질병 조합이 기하급수적으로 증가하는 작업 지향 대화에서 질병 진단의 큰 행동 공간 문제를 해결한다.
• 복잡한 진단 시나리오에서 구조적인 증상 수집이 필요한 복잡한 진단 상황에서 평탄한 강화 학습 정책의 한계를 극복한다.
• 진단을 고수준 전략 선택과 저수준 증상 수집으로 분해하는 계층적 대화 정책을 설계한다.
• 정책 계층을 통해 더 효율적이고 목표에 맞는 증상 탐색을 가능하게 하여 진단 정확도를 향상시킨다.
• 성능과 확장성을 검증하기 위해 실제 세계 및 합성 데이터셋에서 프레임워크를 평가한다.

제안 방법

• 두 수준의 계층적 정책을 도입: 다음으로 사용할 증상 검사기를 선택하는 고수준의 마스터 정책.
• 하위 수준 정책를 전문화된 증상 검사기로 구현하여 환자 보고 증상을 수집하고, 질병 분류기를 통해 진단을 예측한다.
• 지연 보상을 통해 장기적인 진단 정확도를 최적화하기 위해 딥 강화 학습을 사용해 마스터 정책을 훈련시킨다.
• 행동 공간을 계층적으로 구성하여 모든 가능한 증상-질병 조합에 대한 평탄한 행동 공간보다 효과적인 복잡도를 감소시킨다.
• 다양한 진단 경로를 시뮬레이션하기 위해 실제 환자 상호작용과 합성 대화 데이터의 조합을 사용해 시스템을 종합적으로 훈련시킨다.
• 샘플 효율성과 복잡한 진단 환경에서의 정책 수렴을 향상시키기 위해 커리큘럼 학습 및 탐색 전략을 적용한다.

실험 결과

연구 질문

• RQ1 평탄한 강화 학습 기준선 대비 계층적 강화 학습 프레임워크가 작업 지향 대화 시스템에서 질병 진단의 정확도를 향상시킬 수 있는가?
• RQ2 계층적 정책 구조는 대규모 질병 진단 작업에서 행동 공간의 효과적 크기를 얼마나 줄이는가?
• RQ3 의료 진단 환경에서 제안된 프레임워크는 실제 세계 및 합성 대화 데이터 간에 얼마나 일반화되는가?
• RQ4 마스터 정책이 증상 검사기를 선택하는 능력이 증상 수집의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ5 계층적 설계는 훈련 중 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 계층적 강화 학습 프레임워크는 실제 세계 및 합성 데이터셋 양쪽에서 평탄한 강화 학습 기준선보다 유의미하게 높은 진단 정확도를 달성한다.
• 제안된 방법은 전략 선택과 증상 수집을 분리함으로써 효과적인 행동 공간 복잡도를 감소시켜 더 스케일러블한 학습을 가능하게 한다.
• 마스터 정책은 최적의 증상 검사기를 선택하는 데 성공하여 수렴 속도가 빨라지고 증상 확보가 더 효율적이게 된다.
• 시스템은 합성 데이터와 실제 세계 데이터 간에 잘 일반화되어 있으며, 환자 증상 보고의 분포 이탈에 대해서도 강건함을 보였다.
• 샘플 효율성이 향상되어 평탄한 정책 접근 방식보다 더 적은 대화 턴 수로 높은 진단 정확도에 도달한다.
• 코드와 데이터셋의 가용성이 의료 대화 시스템 연구 분야에서 재현 가능성과 향후 벤치마킹을 가능하게 한다.