[논문 리뷰] Effective Medical Test Suggestions Using Deep Reinforcement Learning

Yang-En Chen, Kai-Fu Tang외 2명|arXiv (Cornell University)|2019. 05. 30.

Reinforcement Learning in Robotics참고 문헌 12인용 수 3

한 줄 요약

이 논문은 병변 진단 정확도를 향상시키기 위해 동시에 여러 검사를 제안하는 딥 강화학습 에이전트를 제안한다. 단계별 마르코프 결정 과정에 새로운 다중행동 정책 표현과 레이블 기반 탐색을 도입하여, 중복 검사를 줄이면서도 환자 1인당 평균 4.77회의 검사로 200종의 질병에서 89.75%의 상위 5개 정확도를 달성한다.

ABSTRACT

Effective medical test suggestions benefit both patients and physicians to conserve time and improve diagnosis accuracy. In this work, we show that an agent can learn to suggest effective medical tests. We formulate the problem as a stage-wise Markov decision process and propose a reinforcement learning method to train the agent. We introduce a new representation of multiple action policy along with the training method of the proposed representation. Furthermore, a new exploration scheme is proposed to accelerate the learning of disease distributions. Our experimental results demonstrate that the accuracy of disease diagnosis can be significantly improved with good medical test suggestions.

연구 동기 및 목표

• 의료 검사 제안을 자동화하여 질병 진단 정확도를 향상시키기 위해.
• 동시에 여러 의료 검사를 제안하는 문제에 도전하여 환자의 진료 횟수를 줄이고 효율성을 높이기 위해.
• 강화학습 학습 중에 큰 행동 공간에서 탐색 부담을 줄이기 위해.
• 학습 중 질병 레이블 정보를 활용하여 학습 속도를 가속화하기 위해.
• 증상 질의, 검사 제안, 질병 예측을 순차적 결정 단계로 모델링하는 단계별 MDP 프레임워크를 개발하기 위해.

제안 방법

• 증상 질의, 의료 검사 제안, 질병 예측의 세 단계로 나누어 의료 검사 제안을 단계별 마르코프 결정 과정(MDP)으로 공식화한다.
• 단일 결정 단계에서 동시에 여러 의료 검사를 선택할 수 있는 새로운 다중행동 정책 표현을 도입한다.
• 계층적 행동 공간과 정책 기반 기법을 사용하여 다중행동 정책를 위한 특수한 학습 방법을 개발한다.
• 학습 중 진료 기록의 진정한 질병 레이블을 활용하여 정보성 높은 행동을 우선순위로 정하고 수렴 속도를 가속화하는 레이블 기반 탐색 전략을 제안한다.
• 연령, 성별, 증상, 의료 검사 결과를 포함한 상태 표현과 순차적 결정을 안내하는 단계 플래그를 사용한다.
• 장기적인 진단 정확도를 최적화하기 위해 할인 누적 보상 함수를 사용하며, 상위-k 예측 성능 향상에 따라 보상을 조정한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 동시에 여러 의료 검사를 제안하여 진단 정확도를 향상시킬 수 있는가?
• RQ2 단계별 MDP 프레임워크는 의료 검사 제안에서 학습 효율성을 높이고 행동 공간 복잡도를 어떻게 감소시키는가?
• RQ3 레이블 기반 탐색 전략은 질병 분포 학습에서 정책 학습을 얼마나 빠르게 가속화하는가?
• RQ4 실제 의료 환경에서 검사 제안 빈도와 진단 정확도 사이의 최적의 균형은 무엇인가?
• RQ5 제안된 방법은 기준 대비 비정상 검사 결과를 얼마나 효과적으로 발견하는가?

주요 결과

• 제안된 방법은 200종의 질병 데이터셋에서 89.75%의 상위 5개 정확도를 달성하여 기준 모델인 REFUEL 대비 7%~14% 향상되었다.
• 환자 1인당 평균 4.77회의 의료 검사를 제안하였으며, 200종의 질병 설정에서 제안 확률은 47.59%였다.
• 200종의 질병 케이스에서 비정상 검사 결과의 92.81%를 발견하여 임상적으로 중요한 이상에 매우 민감함을 입증했다.
• 학습 시간이 지남에 따라 제안된 검사 수의 평균이 감소하여, 최소이면서도 정보성 있는 검사 조합을 효과적으로 학습함을 나타냈다.
• 레이블 기반 탐색 전략은 수렴 속도 향상과 초기 학습 정확도 향상으로써 학습 가속화에 크게 기여함을 입증했다.
• 400종의 질병 설정에서는 79.73%의 상위 5개 정확도를 유지하며 비정상 결과의 73.70%를 발견하여 질병 복잡도 증가에 대한 강건성을 입증했다.