[논문 리뷰] Off-Policy Evaluation via the Regularized Lagrangian

Mengjiao Yang, Ofir Nachum외 3명|arXiv (Cornell University)|2020. 07. 07.

Advanced Causal Inference Techniques참고 문헌 31인용 수 23

한 줄 요약

이 논문은 오퍼리액티브 평가 추정기인 DICE 가족을 동일한 선형 프로그램의 정규화된 라그랑주 함수로 통합하여, 이중 해가 최적화 안정성과 편향 감소에 뛰어난 성능을 보임을 드러낸다. 저자들은 이 프레임워크를 통해 더 넓은 추정기 클래스를 규명하고, 다양한 환경에서 이중 정규화 방법이 원시 및 정규화되지 않은 방법보다 안정성과 정확성 측면에서 뛰어나다는 것을 경험적으로 입증한다.

ABSTRACT

The recently proposed distribution correction estimation (DICE) family of estimators has advanced the state of the art in off-policy evaluation from behavior-agnostic data. While these estimators all perform some form of stationary distribution correction, they arise from different derivations and objective functions. In this paper, we unify these estimators as regularized Lagrangians of the same linear program. The unification allows us to expand the space of DICE estimators to new alternatives that demonstrate improved performance. More importantly, by analyzing the expanded space of estimators both mathematically and empirically we find that dual solutions offer greater flexibility in navigating the tradeoff between optimization stability and estimation bias, and generally provide superior estimates in practice.

연구 동기 및 목표

• 정규화된 라그랑주 함수를 기반으로 하여 다양한 DICE 추정기를 단일 이론적 프레임워크로 통합하는 것.
• 오퍼리액티브 평가를 위한 안정적인 미니맥스 최적화로 변환하는 데 있어 선형 프로그램의 핵심 설계 선택 사항을 규명하고 분석하는 것.
• DICE 추정기에서 최적화 안정성과 추정 편향 사이의 트레이드오프를 탐색하는 것.
• 확장된 추정기 공간의 체계적 분석을 통해 개선된 OPE 방법을 발견하는 것.
• 이중 정규화 추정기가 기존 방법보다 안정성과 정확성 측면에서 뛰어나다는 것을 경험적으로 검증하는 것.

제안 방법

• 정책 평가 문제에서 유도된 선형 프로그램(d-LP)으로 오퍼리액티브 평가를 공식화한다.
• 기존의 DICE 추정기를 동일한 d-LP의 특정한 정규화된 라그랑주 함수의 형태로 재해석한다.
• 이중 변수의 정규화와 부가적 제약 조건의 포함을 통해 최적화를 안정화시킨다.
• DICE 추정기의 공간에서 새로운 설정을 탐색하기 위한 통합 프레임워크를 제안한다.
• 선형 및 신경망 함수 근사기를 활용하여 다양한 환경에서 추정기 성능을 평가한다.
• 제거 실험과 보상 변환 실험을 통해 정규화와 제약 조건의 영향을 고립하여 분석한다.

실험 결과

연구 질문

• RQ1 다양한 유형의 DICE 추정기 유도 과정을 어떻게 단일 이론적 프레임워크로 통합할 수 있는가?
• RQ2 오퍼리액티브 평가에서 최적화 안정성과 추정 편향을 균형 잡는 데 있어 이중 해는 어떤 역할을 하는가?
• RQ3 원시 변수와 이중 변수의 정규화가 추정기 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 정규화된 라그랑주 구성의 확장된 공간을 탐색함으로써 새로운 개선된 DICE 추정기를 발견할 수 있는가?
• RQ5 양수 제약 조건과 부가적 제약 조건이 훈련 안정성과 추정 정확성 향상에 얼마나 기여하는가?

주요 결과

• 이중 정규화 추정기는 원시 정규화 또는 정규화되지 않은 방법에 비해 최적화 안정성이 뚜렷이 향상됨.
• 가장 뛰어난 성능을 보인 추정기인 BestDICE는 원래 라그랑주 함수의 원시 및 이중 변형보다도 훈련 안정성과 최종 추정 정확성 측면에서 뛰어남.
• 이중 변수를 정규화할 경우, 특히 보상 척도 조정 및 이동이 적용된 상황에서 원시 변수 정규화보다 더 안정적이고 편향이 적은 추정이 가능함.
• 원시 변수에 대한 양수 제약 조건은 훈련 안정성을 향상시키지만, 제약 조건이 없는 형태는 더 안정적이지만 편향을 유발할 수 있음.
• 부가적 제약 조건과 이중 정규화의 포함은 안정적인 최적화에 필수적이며, 정규화되지 않은 라그랑주 해법기의 실패를 통해 이를 입증함.
• Grid, Reacher, CartPole 환경에서의 경험적 결과는 이중 정규화 추정기가 더 잘 일반화되며 보상 변환에 덜 민감함을 확인함.