[논문 리뷰] Medical Dead-ends and Learning to Identify High-risk States and Treatments

Mehdi Fatemi, Taylor W. Killian외 2명|arXiv (Cornell University)|2021. 10. 08.

Machine Learning in Healthcare참고 문헌 59인용 수 8

한 줄 요약

이 논문은 제한된 데이터와 윤리적 탐색이 불가능한 상황에서도, ICU 패혈증 환자에서 사망으로 이어질 가능성이 높은 고위험 임상 상태와 치료법을 식별하는 새로운 강화학습 프레임워크인 사망 경로 탐지(DeD)를 제안한다. 딥 Q네트워크를 활용해 '사망 경로' 발생 가능성과 치료 접근 가능성의 정도를 추정함으로써, 기저의 최적 행동에 의존하지 않고도 12%의 투여된 치료가 종양 환자에서 생존 확률을 감소시키며, 임상적 간섭 이전 4~8시간 전에 악화 경향을 감지할 수 있음을 밝혀냈다.

ABSTRACT

Machine learning has successfully framed many sequential decision making problems as either supervised prediction, or optimal decision-making policy identification via reinforcement learning. In data-constrained offline settings, both approaches may fail as they assume fully optimal behavior or rely on exploring alternatives that may not exist. We introduce an inherently different approach that identifies possible "dead-ends" of a state space. We focus on the condition of patients in the intensive care unit, where a "medical dead-end" indicates that a patient will expire, regardless of all potential future treatment sequences. We postulate "treatment security" as avoiding treatments with probability proportional to their chance of leading to dead-ends, present a formal proof, and frame discovery as an RL problem. We then train three independent deep neural models for automated state construction, dead-end discovery and confirmation. Our empirical results discover that dead-ends exist in real clinical data among septic patients, and further reveal gaps between secure treatments and those that were administered.

연구 동기 및 목표

• 데이터 부족과 윤리적 제약으로 탐색이 불가능한 의료 분야에서 오프라인 강화학습의 한계를 해결하기 위해.
• 미래의 치료에 관계없이 사망이 불가피한 상태인 '사망 경로'를 최적 행동 데이터에 의존하지 않고 식별하기 위해.
• 회복 최적화를 목표로 하는 것이 아니라 해로운 치료를 피하는 방법을 개발함으로써 데이터 제약 조건 하에서의 안전성을 향상시키기 위해.
• 실제 패혈증 ICU 데이터를 기반으로 한 검증을 통해 악화 경로를 조기에 감지할 수 있음을 입증하기 위해.

제안 방법

• 사망이 불가피한 상태를 정의하고, 전용 보상 설계를 적용한 두 개의 MDP 프레임워크를 사용하여 의료적 사망 경로를 수학적으로 기술한다.
• 독립된 두 개의 딥 Q네트워크를 훈련한다: D-네트워크는 사망 경로에 진입할 확률을 추정하는 값 함수 V_D를, R-네트워크는 긍정적 결과에 도달할 수 있는 가능성을 추정하는 값 함수 V_R를 각각 사용한다.
• 치료의 안전성은 사망 경로로 이어질 가능성이 높은 치료를 피하는 것으로 정의되며, 값 함수의 성질을 이용해 수학적으로 증명된다.
• 임계값 기반 경고 시스템을 적용한다: V_D가 δ_D 이하로 내려가고 V_R가 δ_R 이상일 경우, 높은 위험도를 나타내는 빨간색 경고를 발생시킨다.
• t-SNE 시각화와 차트 노트 분석을 통해 모델 출력을 해석하고 임상적 관련성을 검증한다.
• 역사적 ICU 데이터를 기반으로 모델을 훈련하며, 탐색이 필요 없이 관측된 결과만을 사용해 위험도를 추론한다.

실험 결과

연구 질문

• RQ1 오프라인 데이터만을 사용하여, 향후 치료에 관계없이 사망이 불가피한 ICU 환자 궤적의 상태를 감지할 수 있는가?
• RQ2 종양 환자에게 투여된 현재의 치료 중 사망 위험 증가와 관련된 사망 경로 발생 가능성의 정도는 어느 정도인가?
• RQ3 사망 경로 발생 가능성의 상승을 식별함으로써, 임상적 간섭 이전에 조기에 악화 징후를 감지할 수 있는가?
• RQ4 생존자와 사망자 간 D-네트워크와 R-네트워크의 값 함수는 어떻게 다를까? 이는 치료 위험에 대한 통찰을 어떻게 제공하는가?
• RQ5 이 프레임워크는 탐색이 불가능하고 데이터가 제한된 안전 중심 분야로 일반화될 수 있는가?

주요 결과

• DeD는 실제 패혈증 ICU 데이터에서 사망 경로를 성공적으로 식별하였으며, 일부 환자 상태는 치료에 관계없이 불가역적으로 치명적임을 확인하였다.
• 종양 환자에게 투여된 치료 중 12%가 생존 확률을 심각하게 감소시키며, 일부는 사망 24시간 이내에 시행된 것으로 나타났다.
• D-네트워크의 값 함수는 임상적 간섭 이전 4~8시간 전에 환자의 심각한 악화를 감지할 수 있었으며, 이는 조기 경고 잠재력을 보여준다.
• 사망자들은 생존자보다 훨씬 오랫동안 빨간색 경고 상태(높은 사망 경로 발생 가능성)를 유지하며, 이는 지속적인 위험을 시사하는 비대칭 분포를 보였다.
• 생존자들은 일반적으로 입원 초기에 어떤 경고도 받지 않으며, 이는 불가역적 악화가 입원 시점에는 존재하지 않지만 시간이 지남에 따라 발생한다는 것을 의미한다.
• 모델의 값 함수는 뚜렷한 경향을 보였다: 생존자 궤적은 안정적인 값을 유지하는 반면, 사망자 궤적은 V_D의 급격한 감소와 V_R의 증가를 보이며 이론적 기대와 일치하였다.