[논문 리뷰] Policy Learning under Biased Sample Selection

Lihua Lei, Roshni Sahoo외 1명|arXiv (Cornell University)|2023. 04. 23.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 관측되지 않은 이질성이 유한한 경계를 갖는 $\Gamma$-편향 샘플링 프레임워크를 통해 샘플링 편향을 모델링함으로써 편향된 표본 선택 하에서 강건한 정책 학습을 제안한다. 이는 조건부 평균 치료 효과(CATE)와 조건부 VaR(CVaR)에 모두 의존하는 최적의 최소-최대 및 최소-최대 수익 정책을 도출하여, 난이도 있는 외부 타당성 실패 상황에서도 난이도 없는 성능 보장을 가능하게 한다. 이는 부수적 파rameter의 플러그인 추정을 피한다.

ABSTRACT

Practitioners often use data from a randomized controlled trial to learn a treatment assignment policy that can be deployed on a target population. A recurring concern in doing so is that, even if the randomized trial was well-executed (i.e., internal validity holds), the study participants may not represent a random sample of the target population (i.e., external validity fails)--and this may lead to policies that perform suboptimally on the target population. We consider a model where observable attributes can impact sample selection probabilities arbitrarily but the effect of unobservable attributes is bounded by a constant, and we aim to learn policies with the best possible performance guarantees that hold under any sampling bias of this type. In particular, we derive the partial identification result for the worst-case welfare in the presence of sampling bias and show that the optimal max-min, max-min gain, and minimax regret policies depend on both the conditional average treatment effect (CATE) and the conditional value-at-risk (CVaR) of potential outcomes given covariates. To avoid finite-sample inefficiencies of plug-in estimates, we further provide an end-to-end procedure for learning the optimal max-min and max-min gain policies that does not require the separate estimation of nuisance parameters.

연구 동기 및 목표

• 임의의 통제 시험(RCT)에서 비표본적 연구 집단으로 인한 외부 타당성 실패 문제를 해결하기 위해.
• 연구 참가자가 표적 집단과 비표본적일 경우에도 강건한 정책 학습 방법을 개발하기 위해.
• 관측되지 않은 요인이 영향을 미치는 정도가 유한한 경계를 갖는 최악의 상황에서의 샘플링 편향에 대비한 성능 보장을 제공하기 위해.
• 정책 학습에서 부수적 파rameter의 플러그인 추정으로 인한 유한 표본 비효율성을 피하기 위해.
• 부분 식별 조건 하에서 최적의 최소-최대 및 최소-최대 수익 정책을 유도하고 구현하기 위한 종단 간 절차를 개발하기 위해.

제안 방법

• 관측되지 않은 이질성이 유한한 경계를 갖는 $\Gamma$-편향 샘플링 프레임워크를 사용하여 샘플링 편향을 모델링하며, 임의의 공변수 기반 선택을 허용하지만 관측되지 않은 이질성의 영향은 유한한 경계를 갖는다.
• 샘플링 편향 하에서 최악의 복지에 대한 부분 식별 경계를 유도하며, 최적의 정책이 잠재 결과의 조건부 평균 치료 효과(CATE)와 조건부 VaR(CVaR)에 모두 의존한다는 것을 보여준다.
• 부수적 파rameter의 별도 추정을 피하기 위해 최악의 분포에 대해 직접 최적화하는 종단 간 학습 절차를 제안한다.
• 관측된 데이터와 $\Gamma$-편향을 만족하는 모든 가능한 표적 분포에 대해 최악의 기대 결과를 최대화하는 정책을 학습하기 위해 최소-최대 공식을 사용한다.
• 최악의 조건부 결과 분포를 양자수 기반으로 구성하며, $\zeta(\Gamma) = \frac{1}{\Gamma+1}$-분위수 이하와 이상의 결과에 각각 $\Gamma^{-1}$ 및 $\Gamma$의 가중치를 할당한다.
• 최적의 정책가 CATE와 CVaR의 조합에 의해 결정되며, 관측되지 않은 선택 효과에 대해 강건함을 보장한다.

실험 결과

연구 질문

• RQ1 연구 집단이 표본 외부의 표적 집단과 비표본적일 경우, 샘플링 편향로 인해 성능 보장이 유지되는 치료 배정 정책을 어떻게 학습할 수 있는가?
• RQ2 $\Gamma$-편향 샘플링 하에서 최악의 복지는 얼마이며, 이를 관측 가능한 데이터로 어떻게 특성화할 수 있는가?
• RQ3 최적의 최소-최대 및 최소-최대 수익 정책은 조건부 평균 치료 효과(CATE)와 조건부 VaR(CVaR)에 어떻게 의존하는가?
• RQ4 강건한 정책 학습에서 부수적 파rameter의 플러그인 추정으로 인한 유한 표본 비효율성을 피할 수 있는가?
• RQ5 정책 성능의 하한을 최대화하는 잠재 결과에 대한 최악의 분포의 구조는 어떠한가?

주요 결과

• 최적의 최소-최대 정책는 공변수 조건 하에서 잠재 결과의 조건부 평균 치료 효과(CATE)와 조건부 VaR(CVaR)에 모두 의존한다.
• 최적의 최소-최대 수익 정책 역시 CATE와 CVaR에 의존하며, 평균 성능와 최악의 상황에 대한 강건성 사이의 트레이드오���을 반영한다.
• $\Gamma$-편향 샘플링 하에서 잠재 결과의 최악의 분포는 $\frac{1}{\Gamma+1}$-분위수 이하와 이상의 결과에 각각 $\Gamma^{-1}$ 및 $\Gamma$의 가중치를 할당한다.
• 제안된 종단 간 절차는 부수적 파rameter의 별도 추정을 피하여 플러그인 방법보다 더 높은 유한 표본 효율성을 확보한다.
• 최악의 복지에 대한 부분 식별 경계를 유도하였으며, 이는 $\Gamma$-편향 샘플링를 만족하는 모든 분포에 대해 성능 보장이 유지됨을 보여준다.
• 이 방법은 표적 집단이 연구 집단과 다를 경우에도 관측되지 않은 선택 편향으로 인한 외부 타당성 실패 상황에서 학습된 정책이 성능을 유지함을 보장한다.