[논문 리뷰] ASAC: Active Sensing using Actor-Critic models

Jinsung Yoon, James Jordon외 1명|arXiv (Cornell University)|2019. 06. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 4

한 줄 요약

ASAC는 관측 비용이 높은 헬스케어 환경에서 활동적 감지 문제를 해결하기 위해 액터-크리틱 모델을 사용하는 딥 강화학습 프레임워크이다. 관측 비용을 고려하면서도 전체 특징 분포와 선택된 특징 분포 간의 KL 발산을 최소화하는 동시에 예측 정확도를 극대화하기 위해 선택 네트워크(측정할 변수를 결정)와 예측 네트워크(예측 오차를 통한 피드백 제공)를 동시에 학습한다.

ABSTRACT

Deciding what and when to observe is critical when making observations is costly. In a medical setting where observations can be made sequentially, making these observations (or not) should be an active choice. We refer to this as the active sensing problem. In this paper, we propose a novel deep learning framework, which we call ASAC (Active Sensing using Actor-Critic models) to address this problem. ASAC consists of two networks: a selector network and a predictor network. The selector network uses previously selected observations to determine what should be observed in the future. The predictor network uses the observations selected by the selector network to predict a label, providing feedback to the selector network (well-selected variables should be predictive of the label). The goal of the selector network is then to select variables that balance the cost of observing the selected variables with their predictive power; we wish to preserve the conditional label distribution. During training, we use the actor-critic models to allow the loss of the selector to be "back-propagated" through the sampling process. The selector network "acts" by selecting future observations to make. The predictor network acts as a "critic" by feeding predictive errors for the selected variables back to the selector network. In our experiments, we show that ASAC significantly outperforms state-of-the-arts in two real-world medical datasets.

연구 동기 및 목표

• 각 측정이 재정적 비용이나 환자 부담을 수반하는 의료 환경에서의 고비용 순차적 관측 문제를 해결한다.
• 예측 정확도와 측정 비용을 균형 잡는 순차적 의사결정 문제로 활동적 감지를 재정의한다.
• 정적 데이터와 시계열 데이터를 모두 처리할 수 있는 딥 러닝 프레임워크를 개발하여 시간에 따라 특징을 선택한다.
• 노이즈가 있거나 비용이 많이 드는 측정 조건에서도 조건부 레이블 분포를 유지하는 특징을 선택한다.
• 개별 환자에 맞는 최적의 측정 정책을 학습함으로써 개인화된 비용 효율적인 스크리닝 및 모니터링을 가능하게 한다.

제안 방법

• 두 스트림 신경망 아키텍처를 사용: 이전 측정 기반으로 미래 관측을 선택하는 선택 네트워크(액터)와 선택된 특징을 사용해 레이블을 예측하는 예측 네트워크(크리틱).
• 크리틱의 예측 오차를 보상 신호로 사용하여 정책 그래디언트 방법으로 선택 네트워크를 학습함으로써 확률적 샘플링을 통해 역전파가 가능하도록 한다.
• 전체 특징과 선택된 특징의 조건부 레이블 분포 간 KL 발산과 측정 비용에 대한 페널티 항을 조합한 손실 함수를 최적화한다.
• 관측 선택의 이산성에도 불구하고 기울기를 기반으로 최적화가 가능하도록 유연한 샘플링 메커니즘을 도입한다.
• 과거 선택에 따라 향후 관측이 결정되는 순차적 의사결정을 모델링함으로써 정적 및 시계열 설정을 모두 처리한다.
• 예측된 환자 상태(예: 아프거나 건강한 상태)에 따라 측정 비용을 조절함으로써 레이블 기반 비용을 통합하여 정확도 우선 순위를 적응적으로 조정한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크인 ASAC은 고비용이지만 정보가 풍부한 측정을 효과적으로 선택할 수 있는가?
• RQ2 최신 기술 대비 ASAC는 측정 수를 최소화하면서도 예측 성능을 얼마나 잘 유지하는가?
• RQ3 환자의 상태가 악화되었을 때 비용이 증가하더라도 ASAC는 정확한 측정을 적응적으로 우선순위화할 수 있는가?
• RQ4 특히 저비용이지만 노이즈가 많은 대안이 존재할 경우, ASAC는 노이즈가 많은 측정에 얼마나 강건한가?
• RQ5 실제 임상 데이터셋에서 흔히 발생하는 누락된 데이터 상황에서도 ASAC는 성능을 유지하는가?

주요 결과

• ASAC는 두 개의 실세계 의료 데이터셋에서 최신 기술 대비 뚜렷한 성능 향상을 보이며, 예측 정확도 손실을 최소화하면서 관측 비용을 크게 감소시켰다.
• MIMIC-III 데이터셋에서 ASAC는 누락된 데이터 상황에서도 높은 성능을 유지하며 강건성을 입증했다.
• 노이즈가 있는 특징을 포함한 시뮬레이션 실험에서, ASAC는 비용이 증가할수록 진정된 특징을 올바르게 우선순위로 삼아, 비용이 낮을 경우에만 노이즈가 많은 버전을 선택했다.
• 환자의 상태에 따라 측정 비용이 달라지는 경우(예: 아프면 비용이 더 높음), ASAC는 환자가 아플 경우 진정된 특징 사용을 최대 700% 증가시켰다(η=0.1), 적응적 행동을 보였다.
• γ=0.6일 때 ASAC는 진정된 X² 버전을 유일하게 선택했고, 진정된 X¹ 특징을 간헐적으로 측정하기 시작하여 비용-정확도 균형을 효과적으로 학습했다.
• 고노이즈, 고비용, 레이블 기반 비용 환경을 포함한 모든 테스트 시나리오에서 ASAC는 예측 능력과 비용을 성공적으로 균형 잡았다.