[논문 리뷰] Triply Robust Off-Policy Evaluation

Anqi Liu, Hao Liu외 2명|arXiv (Cornell University)|2019. 11. 13.

Advanced Causal Inference Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 오프-폴리시 평가를 공변수 이동 문제로 재정의하고, 딥 로버스트 리그레션을 적용하여 직접 방법 성분을 향상시킴으로써, 문맥 밴디트에 대한 삼중으로 강건한 오프-폴리시 평가 방법을 제안한다. 이 방법은 직접 방법과 이중으로 강건한 추정기 모두를 향상시키며, 특히 로깅 폴리시가 알려져 있지 않은 경우보다도 우수한 성능을 보이며, 편향과 분산 제어를 개선하여 도전적인 설정에서 최대 50퍼센트의 상대 오차 감소를 달성한다.

ABSTRACT

We propose a robust regression approach to off-policy evaluation (OPE) for contextual bandits. We frame OPE as a covariate-shift problem and leverage modern robust regression tools. Ours is a general approach that can be used to augment any existing OPE method that utilizes the direct method. When augmenting doubly robust methods, we call the resulting method Triply Robust. We prove upper bounds on the resulting bias and variance, as well as derive novel minimax bounds based on robust minimax analysis for covariate shift. Our robust regression method is compatible with deep learning, and is thus applicable to complex OPE settings that require powerful function approximators. Finally, we demonstrate superior empirical performance across the standard OPE benchmarks, especially in the case where the logging policy is unknown and must be estimated from data.

연구 동기 및 목표

• 로깅 폴리시가 자주 알려져 있지 않거나 잘못 추정되는 문맥 밴디트에서 오프-폴리시 평가의 과제를 해결하기 위해.
• 공변수 이동 하에서 강건한 리그레션을 활용하여 오프-폴리시 평가에 사용되는 직접 방법(DM)의 편향과 분산을 개선하기 위해.
• 강건한 직접 방법을 통합함으로써 이중으로 강건한 방법의 강건성을 확장하여 삼중으로 강건한 추정기를 도출하기 위해.
• 제안된 프레임워크에 대한 편향, 분산 및 최소최대 위험의 이론적 보장을 제공하기 위해.
• 특히 고분산 또는 로깅 폴리시가 알려져 있지 않은 상황에서의 표준 벤치마크 전반에서의 경험적 슈퍼리어리티를 입증하기 위해.

제안 방법

• 목표 폴리시의 컨텍스트-액션 분포가 로깅 폴리시의 분포와 다를 때 발생하는 공변수 이동 문제로 오프-폴리시 평가를 재정의한다.
• 로깅 폴리시와 목표 폴리시의 분포 간의 이동을 명시적으로 모델링함으로써, 직접 방법 성분에 현대적인 강건한 리그레션 기법을 적용한다.
• 강건한 직접 방법과 역확률가중치화를 이중으로 강건한 프레임워크에 통합하여 삼중으로 강건한(TR) 추정기를 도입한다.
• 복잡하고 고차원적인 설정에 적용 가능하도록 딥 네ural 네트워크를 함수 근사기로 사용한다.
• 가장 악성의 공변수 이동 상황을 기반으로 한 새로운 최소최대 경계를 유도하여 제안된 추정기의 강건성을 분석한다.
• 기존의 OPE 방법을 개선하기 위해 표준 직접 방법 대신 강건한 리그레션 기반 대안으로 교체할 수 있는 일반적인 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 공변수 이동 문제에 대비해 설계된 강건한 리그레션 기법이 문맥 밴디트에서 오프-폴리시 평가 향상에 효과적으로 적용될 수 있는가?
• RQ2 강건한 리그레션을 직접 방법 성분에 통합할 경우 오프-폴리시 추정기의 편향과 분산에 어떤 영향을 미치는가?
• RQ3 삼중으로 강건한 추정기의 이론적 보장, 특히 편향, 분산 및 최소최대 위험 측면에서의 보장은 무엇인가?
• RQ4 로깅 폴리시가 알려져 있거나 데이터로부터 추정되어야 할 경우, 제안된 방법의 경험적 성능은 어떠한가?
• RQ5 이 프레임워크는 기존의 이중으로 강건한 방법 및 기타 최첨단 OPE 방법을 향상시키기 위해 확장될 수 있는가?

주요 결과

• 삼중으로 강건한 추정기(DM-R)는 로깅 폴리시가 알려져 있거나 추정되어야 할 경우, 표준 이중으로 강건한 방법보다 일관되게 뛰어난 성능을 보이며, 도전적인 설정에서 최대 50퍼센트의 상대 오차 감소를 달성한다.
• 고분산 로깅 폴리시 설정에서는 강건한 직접 방법(DM-R)이 표준 DM보다 오차를 크게 감소시키며, 이 이점은 TR 추정기로도 전이된다.
• 로깅 폴리시가 알려져 있고 균일한 경우, TR은 DR보다 낮은 분산을 보이며 더 높은 안정성을 확보한다.
• DM-R 및 TR 메서드 패밀리가 Vehicle 및 CIFAR10을 포함한 모든 벤치마크 환경에서 비강건한 대비군보다 뛰어난 성능을 보였다.
• 로깅 폴리시가 분류 모델을 통해 추정되어도 강건한 리그레션 프레임워크가 성능 향상에 기여함으로써 실용적 강건성을 입증한다.
• 이론적 분석을 통해 제안된 추정기의 편향과 분산 경계가 향상되었으며, 악성 공변수 이동 상황 하에서 새로운 최소최대 경계가 유도되었다.