[논문 리뷰] Reinforcement Learning with Heterogeneous Data: Estimation and Inference

Elynn Chen, Rui Song외 1명|arXiv (Cornell University)|2022. 01. 31.

Software Reliability and Analysis Research인용 수 4

한 줄 요약

이 논문은 이질적 인구집단 내 순차적 의사결정을 모델링하기 위해 K-이종 마르코프 결정과정(K-Heterogeneous Markov Decision Process, K-Hetero MDP)이라는 새로운 프레임워크를 제안한다. 이는 자동으로 하위집단을 탐지하고 각 하위집단에 대해 별개의 Q함수와 최적 정책을 추정하는 Auto-Clustered Policy Evaluation(ACPE) 및 Auto-Clustered Policy Iteration(ACPI)을 도입하여, 시뮬레이션 데이터와 실제 MIMIC-III 집중치료실(ICU) 데이터 모두에서 더 높은 추정 정확도와 타당한 신뢰구간을 달성한다.

ABSTRACT

Reinforcement Learning (RL) has the promise of providing data-driven support for decision-making in a wide range of problems in healthcare, education, business, and other domains. Classical RL methods focus on the mean of the total return and, thus, may provide misleading results in the setting of the heterogeneous populations that commonly underlie large-scale datasets. We introduce the K-Heterogeneous Markov Decision Process (K-Hetero MDP) to address sequential decision problems with population heterogeneity. We propose the Auto-Clustered Policy Evaluation (ACPE) for estimating the value of a given policy, and the Auto-Clustered Policy Iteration (ACPI) for estimating the optimal policy in a given policy class. Our auto-clustered algorithms can automatically detect and identify homogeneous sub-populations, while estimating the Q function and the optimal policy for each sub-population. We establish convergence rates and construct confidence intervals for the estimators obtained by the ACPE and ACPI. We present simulations to support our theoretical findings, and we conduct an empirical study on the standard MIMIC-III dataset. The latter analysis shows evidence of value heterogeneity and confirms the advantages of our new method.

연구 동기 및 목표

• 기존의 평균값 기반 강화학습이 이질적 인구집단에서 집단 데이터가 하위집단 간의 차이를 가림으로써 발생하는 한계를 해결하기 위해.
• 단일 데이터셋 내에서 동질적 하위집단을 자동으로 탐지하고, 각 하위집단에 맞는 별개의 정책과 가치함수를 추정하는 방법을 개발하기 위해.
• 다양한 이중 방향 점점 증가하는 점근적 프레임워크 하에서 수렴 속도와 타당한 신뢰구간을 포함한 통계적 보장을 제공하기 위해.
• 실제 의료 데이터에서의 이질성과 예측 정확도 향상을 고려할 때, 표준 강화학습 접근법에 비해 본 방법의 우월성을 검증하기 위해.
• 실제 적용에 적합한 고려사항을 제공하기 위해 ACPI 알고리즘의 파라미터 조정 전략에 대한 이론적 지침을 제공하기 위해.

제안 방법

• 다양한 하위집단이 존재하며, 각 하위집단이 고유한 상태-행동-보상 역학을 가지는 순차적 의사결정 문제를 공식화하기 위해 K-Heterogeneous MDP(K-Hetero MDP)를 제안한다.
• 트레이젝터리 군집화와 정규화된 시간차분 학습을 이용해 하위집단별 Q함수를 추정하는 이중 단계 알고리즘인 Auto-Clustered Policy Evaluation(ACPE)를 도입한다.
• 각 군집 내에서 정책 추정치를 반복적으로 개선하여 하위집단별 최적 정책로 수렴하는 ACPE를 확장한 Auto-Clustered Policy Iteration(ACPI)을 개발한다.
• 트레이젝터리 수(N) 또는 트레이젝터리 길이(T) 중 하나가 무한히 증가하는 이원적 점점 증가하는 점근적 프레임워크를 사용하여 타당한 추론을 가능하게 한다.
• 시간차분 오차의 무한노름 분석을 통해 추정된 파라미터와 가치함수의 수렴 속도를 유도하고, 신뢰구간을 구성한다.
• 불규칙하게 샘플링된 ICU 데이터를 처리하기 위해 다변량 근접 이웃 보간법과 시간 제한된 샘플-홀드 보간법을 적용한다.

실험 결과

연구 질문

• RQ1 강화학습 프레임워크는 대규모 순차적 의사결정 데이터에서 하위집단의 이질성을 탐지하고 모델링할 수 있는가?
• RQ2 제안된 ACPI 알고리즘이 이질적 데이터셋에서 표준 평균값 기반 강화학습에 비해 추정 정확도와 정책 성능을 향상시키는가?
• RQ3 N 또는 T가 무한히 증가하는 탄력적인 점근적 체계 하에서 추정된 가치함수와 파라미터에 대해 구성된 신뢰구간은 타당한가?
• RQ4 실제 임상 데이터인 MIMIC-III 패혈성 쇼크 코hort와 같이 알려진 이질성이 존재하는 데이터에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 ACPI에서 군집화 및 정규화 파라미터의 최적 조정 전략은 무엇이며, 이는 추정의 안정성에 어떤 영향을 미치는가?

주요 결과

• ACPE 및 ACPI 알고리즘은 MIMIC-III 패혈성 쇼크 데이터셋에서 두 개의 명확한 하위집단을 탐지하였으며, 군집화 후 잔차 분포가 이중첨두에서 단일첨두로 변화함으로써 이를 뒷받침한다.
• ACPI 방법은 예측 오차를 감소시키며 잔차가 0을 중심으로 종형 분포를 이룬다. 이는 표준 선형 Q학습에 비해 더 나은 모델 적합도를 의미한다.
• 이론적 분석을 통해 추정기의 수렴 속도를 확인하고, N 또는 T가 무한히 증가하는 이원적 점근적 프레임워크 하에서 타당한 신뢰구간을 구성하였다.
• MIMIC-III에서의 실증 결과는 가치의 이질성이 존재함을 보여주며, 다양한 환자 하위집단에 대해 별개의 최적 치료 정책이 도출됨을 시사한다.
• 소규모 하위집단이 존재할 경우를 포함한 시뮬레이션 및 실제 세계 설정 모두에서 표준 강화학습보다 본 방법이 뛰어난 성능을 발휘한다.
• ACPI의 파라미터 조정을 위한 이론적 지침을 제공하여, 의료와 같은 고위험 분야에서의 실용적 활용도를 향상시켰다.