[논문 리뷰] Transfer Learning Across Patient Variations with Hidden Parameter Markov Decision Processes

Taylor W. Killian, George Konidaris외 1명|arXiv (Cornell University)|2016. 12. 01.

Machine Learning and Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 개인화된 HIV 치료에서 다양한 생리적 반응을 보이는 환자 간에 강건한 전이 학습을 가능하게 하기 위해, 가우시안 프로세스 잠재변수모형(GPLVM)을 강화한 숨은 파rameter Markov 결정과정(HiP-MDP)을 제안한다. 상태와 파rameter의 불확실성을 함께 모델링함으로써, 일률적 또는 완전히 개인화된 기준보다 더 빠르고 정확하게 개별 치료 정책을 학습할 수 있으며, 환자당 데이터를 크게 줄임으로써 거의 최적의 성능을 달성한다.

ABSTRACT

Due to physiological variation, patients diagnosed with the same condition may exhibit divergent, but related, responses to the same treatments. Hidden Parameter Markov Decision Processes (HiP-MDPs) tackle this transfer-learning problem by embedding these tasks into a low-dimensional space. However, the original formulation of HiP-MDP had a critical flaw: the embedding uncertainty was modeled independently of the agent's state uncertainty, requiring an unnatural training procedure in which all tasks visited every part of the state space---possible for robots that can be moved to a particular location, impossible for human patients. We update the HiP-MDP framework and extend it to more robustly develop personalized medicine strategies for HIV treatment.

연구 동기 및 목표

• 치료에 대한 환자 반응의 생리적 변동성 문제를 다루어, 헬스케어 분야에서 효과적인 전이 학습을 방해하는 요소를 해결하기 위해.
• 기존 HiP-MDP 프레임워크의 핵심적 결함을 해결하기 위해, 잠재적 파rameter의 불확실성과 상태 불확실성을 별도로 모델링함으로써 상태공간 전체를 철저히 탐색해야 하는 문제를 해결하기 위해.
• 가우시안 프로세스를 사용한 통합 불확실성 모델을 개발하여, 전체 상태공간 커버리지가 필요 없이도 직접적이고 효율적인 환자 간 전이를 가능하게 하기 위해.
• 기존 환자 데이터를 적응형 전이를 통해 활용하여, HIV 관리에서 개인화된 치료 정책을 더 빠르고 데이터 효율적으로 학습할 수 있도록 하기 위해.
• 실제 HIV 치료 시뮬레이터에서 접근법을 검증하여, 일률적 기준 및 완전히 개인화된 기준보다 향상된 성능을 입증하기 위해.

제안 방법

• HiP-MDP 프레임워크를 확장하여, 잠재 파rameter 공간과 에이전트 상태의 불확실성을 함께 모델링할 수 있도록 가우시안 프로세스 잠재변수모형(GPLVM)을 통합한다.
• 전이 동역학 $T(s'|s,a,w_b)$ 를 다양한 작업 간에 근사하기 위해 GP를 사용하여, 현재 작업의 동역학과 유사한 환자 간 전이를 추론할 수 있도록 한다.
• 재구성 오차를 최소화하고 계산 비용을 줄이기 위해 시뮬레이션된 냉각을 통해 선택된 지지점들을 활용한 희소 GP 근사법을 적용한다.
• 합성 데이터를 GP 근사 동역학에서 생성하여, 우선순위 기반 경험 재생을 사용하는 더블 딥 Q 네트워크를 적용해 온라인으로 제어 정책을 학습한다.
• 가장 대표적인 이전 작업 인스턴스들만 선택하여 전이를 수행함으로써 적응형 전이를 구현하여, 부정적 전이를 방지한다.
• 초기 학습 단계에서 환자의 잠재 파rameter $w_b$ 를 통합된 GP 모델을 통해 추론함으로써, 정책 개인화를 신속하게 가능하게 한다.

실험 결과

연구 질문

• RQ1 상태와 파rameter 불확실성을 함께 포괄하는 통합 불확실성 모델이 환자 중심 치료 계획에서의 전이 학습을 향상시킬 수 있는가?
• RQ2 전체 상태공간 커버리지 없이도, GPLVM을 통한 강화된 HiP-MDP가 일률적 또는 완전히 개인화된 기준보다 더 빠르고 정확한 정책 학습을 가능하게 하는가?
• RQ3 소수의 관측치만으로도 모델이 환자 특화된 생리적 변동성을 효과적으로 식별하고 적응할 수 있는가?
• RQ4 이전 작업 인스턴스의 적응형 선택이 부정적 전이를 방지하고 학습 효율성을 향상시키는 데 얼마나 효과적인가?
• RQ5 최소한의 환자당 데이터로도 이 프레임워크가 HIV 치료와 같은 복잡한 실제 의료 분야에 일반화 가능한가?

주요 결과

• GPLVM를 통한 강화된 HiP-MDP는 HIV 시뮬레이터에서 거의 최적의 치료 정책 성능을 달성했으며, 환자당 사용하는 데이터를 크게 줄였음에도 불구하고 완전히 개인화된 기준과 동일하거나 이를 초월하는 성능을 보였다.
• 모델는 첫 몇 차례의 학습 에피소드 내에 두 가지의 구분되는 환자 생리적 유형을 성공적으로 식별하고 분리하여, 신속한 개인화를 가능하게 하였다.
• 상태공간 전체 탐색이 불가능한 임상 적용 환경에서 전체 상태공간 커버리지가 필요 없도록 불확실성을 함께 모델링함으로써, 이는 실현 가능하게 하였다.
• 가장 관련성이 높은 이전 인스턴스들만 선택하는 적응형 전이의 사용은 부정적 전이를 방지하고 학습 효율성을 향상시켰다.
• 20개의 작업 인스턴스에 대한 최적 정책 개발 과정이 약 30분이 소요되어, 확장성과 실용성을 입증하였다.
• 모델에서 제공하는 불확실성 측정값 덕분에, 잠재 공간 내 분류되지 않은 환자 프로파일에 대해서도 신뢰할 수 있는 정책 평가가 가능했다.