[논문 리뷰] Learning Optimal Policies from Observational Data

Onur Atan, William R. Zame외 1명|arXiv (Cornell University)|2018. 02. 23.

Advanced Causal Inference Techniques참고 문헌 21인용 수 6

한 줄 요약

이 논문은 알려진 성향 스코어가 필요하지 않은 관찰 데이터에서 최적의 정책을 학습하기 위한 도메인 적대적 신경망 방법인 DACPOL을 제안한다. 관찰 데이터와 무작위화된 데이터 분포 간의 H-분산을 최소화함으로써 DACPOL은 선택 편향을 줄이는 균형 잡힌 표현을 학습하며, 반세미-합성 유방암 및 Statlog 데이터셋에서 POEM 및 IPS와 같은 기준 방법들을 능가한다. 이는 정책 손실이 낮고 불필요한 특성에 대해 더 강건한 성능을 보인다.

ABSTRACT

Choosing optimal (or at least better) policies is an important problem in domains from medicine to education to finance and many others. One approach to this problem is through controlled experiments/trials - but controlled experiments are expensive. Hence it is important to choose the best policies on the basis of observational data. This presents two difficult challenges: (i) missing counterfactuals, and (ii) selection bias. This paper presents theoretical bounds on estimation errors of counterfactuals from observational data by making connections to domain adaptation theory. It also presents a principled way of choosing optimal policies using domain adversarial neural networks. We illustrate the effectiveness of domain adversarial training together with various features of our algorithm on a semi-synthetic breast cancer dataset and a supervised UCI dataset (Statlog).

연구 동기 및 목표

• 관찰 데이터에서 최적의 정책을 학습하는 데 있어 선택 편향과 누락된 반사적 결과가 신뢰할 수 있는 정책 평가를 방해하는 문제를 해결하기 위해.
• 기존의 반사적 추정 기법의 핵심 한계인 알려진 성향 스코어가 필요하지 않은 방법을 개발하기 위해.
• 관찰 데이터와 무작위화된 데이터 분포 간의 H-분산을 최소화하여 정책 결과 평가의 추정 오차를 줄이기 위해.
• 이전 연구가 이진 치료에 국한된 바에 비해 고차원의 행동 공간에서도 효과적인 정책 학습을 가능하게 하기 위해.
• 역성향 스코어 추정기에서 분산을 증가시키는 불필요한 특성에 대한 강건성을 향상시키기 위해.

제안 방법

• 관찰 데이터와 무작위화된 데이터 분포 간의 H-분산과 정책 결과 추정 오차 사이의 이론적 유계를 제안한다.
• 관찰 데이터와 무작위화된 데이터 분포 간의 표현이 서로 구별되지 않도록 하는 도메인 적대적 신경망 프레임워크를 도입한다.
• 정책 손실과 도메인 적대적 손실을 균형 잡기 위해 하이퍼파rameter λ를 사용하여 예측 정확도와 도메인 불변성 간의 트레이드오프를 최적화한다.
• 이중 스트림 신경망 아키텍처를 활용: 하나의 헤드는 결과를 예측하고, 다른 하나는 도메인(원천 대 타겟)을 분류하여 도메인 불변성을 강제한다.
• 적대적 훈련을 통해 H-분산을 최소화함으로써, 성향 스코어가 필요 없이도 분포 간에 균형 잡힌 표현을 효과적으로 학습한다.
• 로그 기록 정책에 대해 표현이 불변하도록 하면서 관찰 데이터에서 훈련함으로써 정책 최적화에 응용한다.

실험 결과

연구 질문

• RQ1 알려진 성향 스코어가 없이 관찰 데이터에서 정책 결과의 추정 오차를 이론적으로 유계로 연결할 수 있는가?
• RQ2 도메인 적대적 훈련이 관찰 데이터에서의 정책 학습에서 선택 편향을 어느 정도 줄일 수 있는가?
• RQ3 POEM 및 IPS와 같은 기존 방법과 비교해 본다면, 제안된 방법은 정책 손실과 불필요한 특성에 대한 강건성 측면에서 어떻게 다른가?
• RQ4 도메인 적대적 손실 가중치 λ를 변화시켰을 때 정책 성능 및 표현 균형에 어떤 영향을 미치는가?
• RQ5 불필요한 특성에 의한 선택 편향이 역성향 스코어 추정에 의해 의존하는 방법과 비교해 DACPOL의 성능에 어떤 영향을 미치는가?

주요 결과

• 반세미-합성 유방암 데이터셋에서 DACPOL은 정책 손실 0.292 ± 0.006을 기록했으며, 이는 POEM(0.394 ± 0.004) 및 IPS(0.397 ± 0.004)보다 유의미하게 뛰어나다.
• Statlog 데이터셋에서 DACPOL은 손실 0.249 ± 0.015를 기록했으며, POEM(0.432 ± 0.016) 및 IPS(0.454 ± 0.017)를 능가했다.
• λ = 0으로 설정한 DACPOL(0)은 DACPOL보다 성능이 열 劣하였으며, 이는 도메인 적대적 훈련이 표현 균형을 통해 성능 향상을 이룬다는 것을 시사한다.
• 선택 편향이 증가함에 따라(표준편차 σ가 높아짐에 따라), DACPOL의 성능 향상 폭이 DACPOL(0)에 비해 커졌으며, 이는 더 높은 편향된 데이터에 대해 더 강건함을 보여준다.
• 불필요한 특성이 존재할 경우 DACPOL는 안정적인 성능 유지를 보였지만, POEM의 성능은 역성향 스코어의 분산 증가로 인해 심각하게 악화되었다.
• DACPOL의 도메인 적대적 손실은 최적의 λ에서 최소에 도달했으며, 이후 성능이 저하됨을 확인함으로써 예측 능력과 도메인 불변성 간의 최적 트레이드오프가 존재한다는 것을 확인했다.