[논문 리뷰] Adversarial Counterfactual Environment Model Learning

Xionghui Chen, Yang Yu외 9명|arXiv (Cornell University)|2022. 06. 10.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 선택 편향을 보완하기 위해 반대적 데이터를 적극적으로 생성함으로써 오프라인 강화 학습에서 정확한 환경 동역학 모델을 학습하는 데 새로운 방법인 적대적 가중 경험 위험 최소화(Adversarial Weighted Empirical Risk Minimization, AWRM)를 제안한다. 실용적인 알고리즘 GALILEO는 반대적 예측, 오프라인 정책 평가, 온라인 의사결정을 향상시키며, 합성 및 실제 작업에서 지도 학습과 기존 베이스라인 대비 분포 외 행동 쿼리에서 오차를 크게 감소시킨다.

ABSTRACT

A good model for action-effect prediction, named environment model, is important to achieve sample-efficient decision-making policy learning in many domains like robot control, recommender systems, and patients' treatment selection. We can take unlimited trials with such a model to identify the appropriate actions so that the costs of queries in the real world can be saved. It requires the model to handle unseen data correctly, also called counterfactual data. However, standard data fitting techniques do not automatically achieve such generalization ability and commonly result in unreliable models. In this work, we introduce counterfactual-query risk minimization (CQRM) in model learning for generalizing to a counterfactual dataset queried by a specific target policy. Since the target policies can be various and unknown in policy learning, we propose an adversarial CQRM objective in which the model learns on counterfactual data queried by adversarial policies, and finally derive a tractable solution GALILEO. We also discover that adversarial CQRM is closely related to the adversarial model learning, explaining the effectiveness of the latter. We apply GALILEO in synthetic tasks and a real-world application. The results show that GALILEO makes accurate predictions on counterfactual data and thus significantly improves policies in real-world testing.

연구 동기 및 목표

• 데이터 수집 중 행동 정책의 선택 편향으로 인해 반대적 행동 예측에서 치명적인 실패가 발생하는 문제를 해결하기 위해.
• 독립적 동일분포(i.i.d.) 가정을 초월해 적대적 데이터 분포 하에서 학습함으로써 환경 동역학 모델의 일반화 성능을 향상시키기 위해.
• 미래 데이터에서의 행동 영향을 정확히 모델링함으로써 오프라인 정책 평가 및 향상에 기여하는 실용적인 알고리즘을 개발하기 위해.
• 편향된 행동 정책으로 인해 발생하는 상태, 행동, 다음 상태 간의 허무맹한 연관성을 제거하기 위해.
• 표준 지도 학습이 분포 이동 하에서 실패하는 순차적 의사결정 환경에서 충실한 동역학 모델링을 달성하기 위해.

제안 방법

• 모델의 정확도를 약화시키는 데이터 분포를 생성함으로써 강건성을 유도하기 위해 적대적 정책을 통합한 학습 목표인 AWRM을 제안한다.
• 행동 정책의 행동 선택을 뒤집어 반대적 데이터를 시뮬레이션하는 생성망을 사용하여 도전적인 테스트 케이스를 만든다.
• 현재 모델과 학습 데이터를 사용하여 최적의 적대적 반대적 데이터 분포를 근사하는 실용적 알고리즘인 GALILEO를 구현한다.
• 모델가 자신의 약점을 악용하는 정책이 생성한 데이터에서 오차를 최소화하도록 최적화하는 적대적 훈련을 적용한다.
• 두 단계 훈련 과정을 사용한다: 첫 번째로 오프라인 데이터에서 동역학 모델을 훈련하고, 두 번째로 적대적으로 생성된 반대적 전이 데이터를 사용해 모델을 보완한다.
• 역 확률 가중치와 GAN 기반 데이터 증강을 비교를 위한 아블레이션 및 평가에서 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 행동 정책의 선택 편향으로 인해 표준 지도 학습이 반대적 예측에서 치명적인 실패를 겪을 수 있는가?
• RQ2 적대적 데이터 분포 이동이 분포 외 행동 쿼리에서 환경 동역학 모델의 강건성에 기여하는가?
• RQ3 GALILEO는 각 반복에서 최악의 반대적 데이터를 사용하는 오라클 AWRM 방법과 유사한 성능을 달성할 수 있는가?
• RQ4 AWRM은 IPW, SCIGAN, 지도 학습과 같은 기존 방법과 비교해 오프라인 정책 평가 및 향상에서 어떻게 성능을 냈는가?
• RQ5 GALILEO는 더 정확한 반대적 추론을 가능하게 하여 온라인 의사결정 성능을 향상시키는가?

주요 결과

• 합성 작업에서 높은 선택 편향이 존재할 경우, GALILEO는 지도 학습 대비 반대적 예측 오차를 최대 50% 감소시킨다.
• GNFC 벤치마크에서 GALILEO는 모든 작업에서 가장 낮은 MMSE를 기록하며, 평균 오차는 3.86 ± 0.03 (e1_p1)로, SL(5.73 ± 0.33)보다 유의미하게 뛰어나다.
• TCGA 벤치마크에서 GALILEO는 분포 이동 하에서도 낮은 오차(예: t0_bias_2.0에 대해 1.56 ± 0.04)를 유지하지만, SL의 오차는 급격히 증가한다(예: 1.92 ± 0.67).
• GALILEO의 반응 곡선은 정확한 인과 관계(y_{t+1} ∝ y_t + a_t)를 잘 반영하며, 지도 학습은 허무맹한 연관성(예: y_{t+1} ∝ φ - 14a_t)을 학습한다.
• 연속 제어 작업에서 GALILEO는 오프라인 정책 평가 및 향상에 기여하며, 행동 분포의 분포 이동에 대해 강건함을 입증한다.
• 메서드는 AWRM-오라클 기준에 매우 가까운 성능을 달성하여 최적의 적대적 데이터 분포를 효과적으로 근사하고 있음을 시사한다.