[논문 리뷰] Confounding-Robust Policy Improvement

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|2018. 05. 22.

Advanced Causal Inference Techniques참고 문헌 61인용 수 33

한 줄 요약

이 논문은 관찰 데이터에서 관찰되지 않은 혼동요인을 고려하기 위해 불확실성 집합 내에서 최악의 상황에서의 회복률을 최소화하는 혼동에 강건한 정책 개선 방법을 제안한다. 유계 혼동에 대한 최악의 상황에서의 회복률 최적화를 통해 정책의 안전성을 보장하고, 모든 가능한 인구 회복률에 대한 최선의 균일한 통제를 보장하며, 합성 데이터와 실제 허혈호르몬 치료 사례 연구에서 기존의 무혼동성 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

We study the problem of learning personalized decision policies from observational data while accounting for possible unobserved confounding. Previous approaches, which assume unconfoundedness, i.e., that no unobserved confounders affect both the treatment assignment as well as outcome, can lead to policies that introduce harm rather than benefit when some unobserved confounding is present, as is generally the case with observational data. Instead, since policy value and regret may not be point-identifiable, we study a method that minimizes the worst-case estimated regret of a candidate policy against a baseline policy over an uncertainty set for propensity weights that controls the extent of unobserved confounding. We prove generalization guarantees that ensure our policy will be safe when applied in practice and will in fact obtain the best-possible uniform control on the range of all possible population regrets that agree with the possible extent of confounding. We develop efficient algorithmic solutions to compute this confounding-robust policy. Finally, we assess and compare our methods on synthetic and semi-synthetic data. In particular, we consider a case study on personalizing hormone replacement therapy based on observational data, where we validate our results on a randomized experiment. We demonstrate that hidden confounding can hinder existing policy learning approaches and lead to unwarranted harm, while our robust approach guarantees safety and focuses on well-evidenced improvement, a necessity for making personalized treatment policies learned from observational data reliable in practice.

연구 동기 및 목표

• 기존 정책 학습 방법이 무혼동성을 가정하는 데에 있어 비검증 가능하고 실제로 자주 위반되는 이론적 한계를 해결하기 위해.
• 관찰 데이터에 관찰되지 않은 혼동요인이 존재할 때도 정책의 안전성과 신뢰성을 보장하기 위한 방법을 개발하기 위해.
• 대부분의 반사적 결과가 점으로 특정되지 않을 때조차 유계 혼동 하에서의 회복률 통제에 대한 이론적 보장을 제공하기 위해.
• 관찰 데이터와 무작위 대조 시험 데이터를 사용하여 합성 데이터와 실제 허혈호르몬 치료 사례 연구에서 방법을 검증하기 위해.
• 기본 정책 학습 방법이 숨겨진 혼동이 존재할 경우 해를 끼칠 수 있음을 입증하고, 제안된 강건한 방법이 이러한 위험을 피할 수 있음을 보여주기 위해.

제안 방법

• 잠재 결과의 오즈비에 대한 경계를 바탕으로 관찰되지 않은 혼동의 정도를 제어하는 비율 가중치의 불확실성 집합을 구성한다.
• 이 집합 내에서 후보 정책의 최악의 상황에서의 추정 회복률을 기준 정책에 대해 최소화하는 강건 최적화 문제를 수립한다.
• 정책 할당과 공변수 공간의 분할을 동시에 최적화하는 재귀적 분할 알고리즘을 사용한다.
• 정책 할당 목적 함수의 변화를 고려하여, 치료 할당과 분할 결정을 동시에 고려한 그리디한 분할 선택을 수행한다.
• 혼동 수준에 따라 회복률 목적 함수를 스칼라화하여 λ로 매개변수화함으로써 강건성과 성능 간의 균형을 확보한다.
• 가정된 혼동 수준에 부합하는 모든 가능한 인구 회복률의 범위에 대해 최선의 균일한 통제를 보장하는 일반화 보장을 제공한다.

실험 결과

연구 질문

• RQ1 무시된 무혼동성 가정 없이도 관찰 데이터에서의 정책 학습이 관찰되지 않은 혼동에 대해 강건하게 만들 수 있는가?
• RQ2 혼동으로 인해 반사적 결과가 점으로 특정되지 않을 경우, 얻을 수 있는 최선의 균일한 회복률 통제는 무엇인가?
• RQ3 숨겨진 혼동이 존재할 때 제안된 강건한 정책은 기존의 무혼동성 기반 방법과 비교해 안전성과 성능 측면에서 어떻게 다른가?
• RQ4 해로움을 유발하지 않고도 개인화된 치료에서 잘 뒷받침되는 개선을 신뢰성 있게 식별할 수 있는가?
• RQ5 예를 들어 허혈호르몬 치료와 같이 알려진 혼동이 존재하는 실제 사례 연구에서 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 제안된 방법은 비율 가중치의 불확실성 집합 내에서 최악의 상황에서의 회복률을 최소화함으로써 안전성을 보장하여, 관찰되지 않은 혼동이 존재하더라도 정책이 해를 끼치지 않음을 보장한다.
• WHI 사례 연구에서 표준 정책 학습 방법은 숨겨진 혼동이 존재할 경우 음수의 회복률(즉, 해로움)을 보였지만, 강건한 방법은 모든 테스트된 혼동 수준에서 양수 또는 근처의 0에 수렴하는 회복률을 유지했다.
• 이 방법은 log(Γ) = 0.05일 때 정책 회복률이 -0.50이었고, log(Γ) = 1.0일 때는 0.08로 향상되어 증가하는 혼동 범위 하에서도 일관된 개선을 보였다.
• 알고리즘은 임의 대조 시험 결과와 일치하는 치료 규칙을 성공적으로 식별하여 실용적 적용에서의 신뢰성을 검증했다.
• 민감도 분석 결과, 핵심 공변수를 제거해도 방법이 강건하게 유지되었으며, 대부분의 오즈비가 [0.8, 1.2] 범위에 집중되어 있어 경미한 혼동이 존재함을 시사했다.
• 재귀적 분할 알고리즘은 강력한 경험적 성능을 보이는 정책를 효율적으로 계산하여 확장성과 실용적 유용성을 입증했다.