[논문 리뷰] Policy Evaluation with Latent Confounders via Optimal Balance

Andrew Bennett, Nathan Kallus|arXiv (Cornell University)|2019. 08. 06.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 관측되지 않은 혼란인자( latent confounders)가 존재하는 문맥적 밴디트(contextual bandits)에서 정책 평가를 위한 새로운 중요도 가중치 방법을 제안한다. 이 방법은 잠재적 결과 회귀 모델을 피itting하지 않고도 관측되지 않은 혼란인자에서 최적의 균형을 달성하기 위해 적대적 최적화를 사용한다. 이는 일반적인 결과 모델 하에서 일致된 추정을 보장하며, 혼란인자가 관측되지 않을 경우 표준 밀도 비율의 한계를 극복한다.

ABSTRACT

Evaluating novel contextual bandit policies using logged data is crucial in applications where exploration is costly, such as medicine. But it usually relies on the assumption of no unobserved confounders, which is bound to fail in practice. We study the question of policy evaluation when we instead have proxies for the latent confounders and develop an importance weighting method that avoids fitting a latent outcome regression model. Surprisingly, we show that there exist no single set of weights that give unbiased evaluation regardless of outcome model, unlike the case with no unobserved confounders where density ratios are sufficient. Instead, we propose an adversarial objective and weights that minimize it, ensuring sufficient balance in the latent confounders regardless of outcome model. We develop theory characterizing the consistency of our method and tractable algorithms for it. Empirical results validate the power of our method when confounders are latent.

연구 동기 및 목표

• 관측되지 않은 혼란인자가 존재할 때 표준 방법이 편향을 유발하는 정책 평가 문제를 해결하기 위해.
• 잠재적 결과 회귀 모델을 피itting함으로써 모델 의존도를 줄이기 위해.
• 프록시와 최적의 균형을 활용하여 관측되지 않은 혼란인자가 존재하더라도 편향 없는 정책 평가를 보장하기 위해.
• 일반적인 결과 모델 하에서 제안된 방법의 이론적 일관성을 확립하기 위해.
• 실제 응용 분야인 헬스케어와 같은 분야에서 실용적으로 구현 가능한 간편한 알고리즘을 설계하기 위해.

제안 방법

• 모든 행동 간 잠재적 혼란인자의 균형을 최소화하는 적대적 목표를 제안하여 결과 모델의 잘못된 특정화에 대한 강건성을 확보한다.
• 잠재적 혼란인자의 프록시를 사용하여, 이러한 프록시의 분포가 모든 행동 간에 균형을 이루도록 가중치를 구성한다.
• 이중 최적화 프레임워크를 활용한 중요도 가중치를 적용하여 잠재 공간에서 최적의 균형을 달성하는 가중치를 찾는다.
• 일반적인 결과 모델 하에서 추정기의 일관성을 보장하는 이론적 프레임워크를 도입한다.
• 신경망 또는 커널 방법을 기반으로 한 간편한 알고리즘을 개발하여 적대적 최적화 문제를 해결한다.
• 충분한 프록시 균형이 존재할 경우, 직접 관측하지 못하더라도 잠재적 혼란인자를 충분히 제어할 수 있다는 원리를 기반으로 한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼란인자가 존재하지만 프록시가 가용할 경우, 정책 평가를 일관되게 수행할 수 있는가?
• RQ2 잠재적 혼란인자가 존재하는 상황에서, 모든 결과 모델에 대해 편향 없는 평가를 보장하는 단일 가중치 집합이 존재하는가?
• RQ3 프록시에 대한 적대적 최적화가 표준 중요도 가중치보다 더 나은 균형과 추정 성능을 낼 수 있는가?
• RQ4 잠재적 혼란인자가 존재할 경우, 제안된 방법이 기존 방법과 비교해 편향과 분산 측면에서 어떻게 성능을 내는가?
• RQ5 일반적인 결과 모델 하에서 추정기의 일관성에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 잠재적 혼란인자가 존재할 경우, 단일 가중치 집합이 모든 결과 모델에 대해 편향 없는 평가를 보장하지 못한다. 이는 혼란인자가 없는 경우와는 다르다.
• 제안된 적대적 가중치 방법은 잠재적 혼란인자의 균형을 보장하는 목표를 최소화함으로써 일관된 정책 평가를 달성한다.
• 이 방법은 잠재적 결과 회귀 모델을 피itting할 필요가 없어, 모델 의존도와 복잡도를 줄인다.
• 이론적 분석을 통해 프록시와 결과 분포에 대한 미약한 규칙성 조건 하에서 추정기의 일관성을 입증한다.
• 실증 결과는 강한 잠재적 혼란인자가 존재하는 환경에서 기준 방법 대비 향상된 성능을 보여준다.
• 결과 모델의 잘못된 특정화에 대해 강건하기 때문에, 헬스케어와 같은 실생활 응용 분야에 적합하다.