[논문 리뷰] Balanced Policy Evaluation and Learning

Nathan Kallus|arXiv (Cornell University)|2017. 05. 21.

Advanced Causal Inference Techniques참고 문헌 38인용 수 17

한 줄 요약

이 논문은 관찰 데이터에서 이완정책 평가 및 학습을 위한 새로운 균형 기반 접근법을 제안한다. 기존의 역확률가중치화 기법을 대체하여 최악의 오차를 직접 최소화하는 최적의 균형 가중치를 사용한다. 이 방법은 데이터 기각을 피하고 더 안정적이고 효율적인 최적화를 가능하게 하여 추정 정확도와 정책 학습 성능을 향상시키며, 약한 가정 하에 일致성과 리그레트 경계에 대한 이론적 보장을 제공한다.

ABSTRACT

We present a new approach to the problems of evaluating and learning personalized decision policies from observational data of past contexts, decisions, and outcomes. Only the outcome of the enacted decision is available and the historical policy is unknown. These problems arise in personalized medicine using electronic health records and in internet advertising. Existing approaches use inverse propensity weighting (or, doubly robust versions) to make historical outcome (or, residual) data look like it were generated by a new policy being evaluated or learned. But this relies on a plug-in approach that rejects data points with a decision that disagrees with the new policy, leading to high variance estimates and ineffective learning. We propose a new, balance-based approach that too makes the data look like the new policy but does so directly by finding weights that optimize for balance between the weighted data and the target policy in the given, finite sample, which is equivalent to minimizing worst-case or posterior conditional mean square error. Our policy learner proceeds as a two-level optimization problem over policies and weights. We demonstrate that this approach markedly outperforms existing ones both in evaluation and learning, which is unsurprising given the wider support of balance-based weights. We establish extensive theoretical consistency guarantees and regret bounds that support this empirical success.

연구 동기 및 목표

• 기존의 이완정책 평가 및 학습 방법이 역확률가중치화에 의존하여 고분산과 데이터 기각 문제를 겪는 한계를 해결하기 위해.
• 기존 방법의 이중단계 플러그인 방식을 피하고 통합된 단일 단계 프레임워크를 통해 정책 평가 및 학습을 수행하기 위해.
• 유한 표본에서 이력 데이터와 목표 정책 간의 균형을 직접 최적화하여 추정 효율성과 정책 성능을 향상시키기 위해.
• 무관측성 및 강한 오버랩 조건을 가정할 때 제안된 방법의 이론적 일치성과 리그레트 경계를 확립하기 위해.
• 관찰 데이터에서 개인화된 의사결정을 위한 더 계산적으로 안정적인 이중적으로 강건한 기법과 역확률가중치화 및 이중강건 기법의 대안을 제공하기 위해.

제안 방법

• 이 방법은 정책과 가중치에 대한 이중 최적화를 통해 유한 표본에서 가중된 이력 데이터와 목표 정책의 분포 간의 격차를 최소화하는 균형 가중치를 구성한다.
• 정책 평가는 가중치가 치료 간 공변량 분포를 균형 있게 만들도록 선택된 가중 평균으로서 결과를 표현하며, 이로써 가중된 데이터가 목표 정책를 모방하도록 보장한다.
• 함수 공간 복잡도를 제어하고 안정성을 확보하기 위해 커널 기반 정규화를 사용하며, 가중치는 최악의 오차 또는 사후 조건부 평균제곱오차를 최소화하기 위해 2차 프rogramming을 통해 최적화된다.
• 정책 학습자는 이러한 가중치를 단일 최적화 문제에 통합하여 기존 방법의 이중단계 성격을 피하고 분산을 감소시킨다.
• 이론적 분석은 경험 과정 이론에 기반하며, 라데마처 복잡도를 사용하여 추정 오차와 리그레트를 경계한다. 주요 가정은 강한 오버랩과 무관측성이다.
• 결과 모델링과 균형 가중치를 조합한 이중적으로 강건한 버전으로 확장하여 모형 오류에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 관찰 데이터에서 이완정책 평가 및 학습에 있어 균형 기반 가중치 기법이 역확률가중치화 기법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 균형 가중치에 기반한 단일 단계 최적화 프레임워크는 이중단계 접근법보다 더 높은 통계적 효율성과 낮은 리그레트를 달성할 수 있는가?
• RQ3 기본적인 인과추론 가정 하에 제안된 균형 기법의 이론적 일치성과 리그레트 경계는 무엇인가?
• RQ4 모형 오류가 발생할 경우나 고차원 공변량이 존재할 경우, 특히 성공확률이 근처 0에 가까운 경우 이 방법은 어떻게 대처하는가?
• RQ5 결과 모델링과 가중치 최적화를 조합한 이중적으로 강건한 변형으로 균형 기반 기법을 확장할 수 있는가?

주요 결과

• 수치 실험을 통해 제안된 균형 기반 기법이 기존의 역확률가중치화 및 이중강건 기법보다 이완정책 평가 및 정책 학습 과제에서 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 $ O_p(\tilde{\frak{R}}_n(\tilde{\boldsymbol{\nu}}) + 1/\tilde{n}) $ 의 리그레트 경계를 달성하며, 여기서 $ \tilde{\frak{R}}_n(\tilde{\boldsymbol{\nu}}) $ 는 정책 클래스의 라데마처 복잡도이다. 이는 강력한 이론적 일치성을 시사한다.
• 강한 오버랩과 유한 잔차 조건 하에서, $ \textstyle \text{sup}_{\pi \in \Pi} |\hat{\tau}_{W^{*}(\pi)} - \text{SAPE}(\pi)| $ 의 균일한 추정 오차는 높은 확률로 유계이며, 커널 노름과 정규화 파rameter를 포함한 명시적 상수로 표현된다.
• 커널이 $ C_0 $-유니버설이고 정책 클래스의 복잡도가 0으로 수렴할 경우, 이 방법은 $ o_p(1) $ 의 리그레트를 달성하여 渐近 최적성을 의미한다.
• 이중강건 변형은 $ \|\hat{\mu}_{nt} - \mu_t\|_{\mathcal{K}_t} = o_p(1) $ 와 같은 더 약한 조건 하에서도 동일한 리그레트 경계를 유지하며, 결과 모형 오류에 대한 강건성을 향상시킨다.
• 무관측성, 강한 오버랩, 유한 잔차 조건 하에서 이론적 보장이 확립되었으며, 추정 오차에 대한 명시적 고확률 경계가 제시되었다.