[논문 리뷰] Sample-Efficient Reinforcement Learning via Counterfactual-Based Data Augmentation

Chaochao Lu, Biwei Huang외 4명|arXiv (Cornell University)|2020. 12. 16.

Reinforcement Learning in Robotics참고 문헌 34인용 수 16

한 줄 요약

이 논문은 이질적인 환경에서 샘플 효율적인 강화학습을 위한 반사적 기반 데이터 증강 방법을 제안하며, 구조적 인과 모델(SCM)을 사용하여 대체 치료 결과를 시뮬레이션하는 합성 경험을 생성한다. 이 방법은 반사적 데이터 기반 Q-학습을 통해 집단 수준 및 개인 맞춤 정책을 가능하게 하며, 약간의 식별 조건 하에서 최적의 가치 함수 수렴을 달성하고, 합성 및 실세계 의료 데이터에서 향상된 성능을 보여준다.

ABSTRACT

Reinforcement learning (RL) algorithms usually require a substantial amount of interaction data and perform well only for specific tasks in a fixed environment. In some scenarios such as healthcare, however, usually only few records are available for each patient, and patients may show different responses to the same treatment, impeding the application of current RL algorithms to learn optimal policies. To address the issues of mechanism heterogeneity and related data scarcity, we propose a data-efficient RL algorithm that exploits structural causal models (SCMs) to model the state dynamics, which are estimated by leveraging both commonalities and differences across subjects. The learned SCM enables us to counterfactually reason what would have happened had another treatment been taken. It helps avoid real (possibly risky) exploration and mitigates the issue that limited experiences lead to biased policies. We propose counterfactual RL algorithms to learn both population-level and individual-level policies. We show that counterfactual outcomes are identifiable under mild conditions and that Q- learning on the counterfactual-based augmented data set converges to the optimal value function. Experimental results on synthetic and real-world data demonstrate the efficacy of the proposed approach.

연구 동기 및 목표

• 환자 수준의 데이터가 제한되고 치료 반응이 다양화되는 의료 응용 분야에서의 데이터 부족 및 메커니즘 이질성 문제를 해결한다.
• 실제 세계 탐색의 위험을 피하기 위해 반사적 추론을 활용해 대체 치료 결과를 시뮬레이션하는 모델 기반 강화학습 프레임워크를 개발한다.
• SCM 내 잠재적 이질성 요인의 클러스터링을 통해 일반 집단 수준의 정책과 개인 맞춤 정책을 모두 가능하게 한다.
• 약한 조건 하에서 반사적 결과의 식별 가능성을 증명하여, 증강된 데이터 기반 Q-학습의 이론적 수렴을 보장한다.
• 인과 모델링을 딥 강화학습과 통합하여 저데이터 환경에서의 샘플 효율성과 정책의 강인성을 향상시킨다.

제안 방법

• 유연한 신경망 함수 근사 기법을 사용한 구조적 인과 모델(SCM)을 활용해 상태 동역학을 모델링하며, 개인 간 이질적인 인과 메커니즘을 허용한다.
• 치료 반응에 영향을 주는 개인별 숨겨진 요인을 캡처하기 위해 잠재 변수 $\theta_C$ 를 도입하여 개인 맞춤 정책 학습을 가능하게 한다.
• 펄의 do-계산법을 사용해 관측된 궤적을 바탕으로 다른 행동을 취했을 경우의 결과를 추정함으로써 반사적 추론을 수행한다.
• 관측된 상태-행동 쌍에서 행동을 반사적으로 수정하여 합성 데이터를 생성함으로써, 타당한 대체 결과를 포함한 훈련 데이터 세트를 증강한다.
• 실제 데이터와 반사적으로 생성된 데이터의 혼합물에 대해 딥 Q-네트워크(D3QN)를 훈련시켜 일반 정책과 그룹별 전용 정책을 모두 학습한다.
• 추정된 $\theta_C$ 값에 대해 k-means 클러스터링을 수행하여 환자를 그룹화하고, 각 클러스터별로 개인 맞춤 정책을 훈련시어 개인 치료의 맞춤화를 향상시킨다.

실험 결과

연구 질문

• RQ1 구조적 인과 모델 기반 반사적 데이터 증강이 데이터 부족 조건에서 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 이질적이고 저데이터 조건에서 반사적 결과는 어떤 조건 하에 식별 가능한가?
• RQ3 그러한 조건에서 반사적으로 증강된 데이터 기반 Q-학습이 최적의 가치 함수로 수렴하는가?
• RQ4 잠재적 이질성 요인 $\theta_C$ 를 통한 개인 맞춤성 통합이 집단 수준 학습에 비해 정책 성능을 얼마나 향상시키는가?
• RQ5 반사적 추론은 제한된 실제 세계 경험으로 인한 편향을 어느 정도 줄이고, 의료 분야와 같은 실제 응용에서 위험한 탐색을 피할 수 있는가?

주요 결과

• 제안된 방법은 약간의 식별 조건 하에서 반사적으로 증강된 데이터 기반 훈련 시 Q-학습이 최적의 가치 함수로 수렴함을 확인하였다.
• 제안된 SCM 프레임워크에서는 알려지지 않은 또는 유연한 기능 형태와 비정규 분포 노이즈 분포 조건 하에서도 반사적 결과가 식별 가능함을 입증하였다.
• 반사적으로 증강된 데이터 기반으로 학습된 개인 맞춤 정책은 실세계 ICU 데이터에서 일반 정책보다 더 높은 평균 추정 Q-값을 기록하였다.
• 개인 맞춤 정책은 일반 정책에 비해 더 다양한 행동 분포를 보이며, 환자 집단별 맞춤형 치료 전략을 반영하고 있다.
• 저데이터 의료 시나리오에서 특히 두각을 나타내는 샘플 효율성 향상과 실제 경험에 기인한 편향 감소를 통해 기존 기준 방법에 비해 성능이 뛰어나다.
• 합성 및 실세계 데이터 세트에서의 실증 결과는 반사적 데이터 증강이 정책 성능을 향상시키며, 위험한 탐색 없이 안전하고 효과적인 의사결정을 가능하게 한다는 것을 확인하였다.