[논문 리뷰] Minimax Value Interval for Off-Policy Evaluation and Policy Optimization

Nan Jiang, Jiawei Huang|arXiv (Cornell University)|2020. 02. 06.

Advanced Causal Inference Techniques참고 문헌 38인용 수 14

한 줄 요약

이 논문은 기댓값 함수와 중요도 가중치 추정을 하나의 프레임워크로 통합하여 오프-폴리시 평가를 위한 통합된 최소최대 값 간격을 제안한다. 이는 이중 강건성(double robustness)을 제공하며, 값 함수 또는 가중치 함수 클래스 중 하나만 잘 지정되어 있더라도 간격이 유효해지며, 나머지 하나의 오차 정도를 간격의 길이로 측정할 수 있다. 이 방법은 이전 접근법보다 더 일관되고 날카운 간격을 제공하며, 데이터 커버리지 제약 조건 하에서도 체계적인 정책 최적화를 가능하게 한다.

ABSTRACT

We study minimax methods for off-policy evaluation (OPE) using value functions and marginalized importance weights. Despite that they hold promises of overcoming the exponential variance in traditional importance sampling, several key problems remain: (1) They require function approximation and are generally biased. For the sake of trustworthy OPE, is there anyway to quantify the biases? (2) They are split into two styles ("weight-learning" vs "value-learning"). Can we unify them? In this paper we answer both questions positively. By slightly altering the derivation of previous methods (one from each style; Uehara et al., 2020), we unify them into a single value interval that comes with a special type of double robustness: when either the value-function or the importance-weight class is well specified, the interval is valid and its length quantifies the misspecification of the other class. Our interval also provides a unified view of and new insights to some recent methods, and we further explore the implications of our results on exploration and exploitation in off-policy policy optimization with insufficient data coverage.

연구 동기 및 목표

• 기댓값 함수 근사 기반 오프-폴리시 평가(OPE) 방법에서 편향의 정량화가 부족한 문제를 해결하기 위해.
• 두 주요 OPE 철학—'가중치 학습'과 '값 학습'—을 하나의 일관된 프레임워크로 통합하기 위해.
• 부분적인 모델 오Specification이 있을 경우에도 유효한 값 간격을 제공하며, 나머지 성분의 오Specification 정도를 간격의 길이로 측정하기 위해.
• 악성 데이터 커버리지 조건 하에서 편향의 원칙과 낙관주의 원칙을 활용하여 오프-폴리시 정책 최적화를 지원하기 위해 프레임워크를 확장하기 위해.

제안 방법

• Liu 등 [5]과 Uehara 등 [1]의 이전 OPE 방법을 공통의 변분 공식을 통해 재해석하고 통합하여 최소최대 값 간격을 유도한다.
• 값 함수와 중요도 가중치를 동시에 학습하는 단일 최적화 프로그램을 사용하여 데이터 구성 요소를 극대한 활용한다.
• 값 함수와 정규화된 중요도 가중치에 대해 벨먼 방정식을 적용하여 진짜 수익의 이중 표현을 유도한다.
• 값 함수와 가중치 함수에 대한 최소최대 최적화를 통해 구간을 구성한다: $\inf_w \sup_q L(w,q)$ 와 $\sup_w \inf_q L(w,q)$, 여기서 $L(w,q) = \mathbb{E}_w[r + \gamma q(s',\pi) - q(s,a)]$.
• 값 함수 또는 가중치 함수 클래스 중 하나만 잘 지정되어 있더라도 간격이 유효하며, 간격의 폭이 다른 성분의 오Specification 오차를 측정함을 입증한다.
• 정적 분포와 흡수 상태를 고려한 기본 벨먼 항등식을 조정하여 평균 보상 및 유한 수명 MDP에 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 우리는 '가중치 학습'과 '값 학습'이라는 두 주요 오프-폴리시 평가 스타일을 하나의 일관된 프레임워크로 통합할 수 있는가?
• RQ2 값 함수와 가중치 함수 모두 오Specification일 경우, 기댓값 함수 근사에서 유도된 편향을 정량화할 수 있는가?
• RQ3 결과 간격이, 값 또는 가중치 중 하나만 잘 지정되어 있을 경우에도 모델 오Specification 정도를 의미 있는 척도로 제공하는가?
• RQ4 최소최대 간격을 활용하여 데이터 커버리지 제약 조건 하에서 오프-폴리시 정책 최적화의 체계적인 탐색 및 활용 전략을 도출할 수 있는가?

주요 결과

• 제안된 최소최대 값 간격은 Liu 등 [5]과 Uehara 등 [1]의 두 주요 OPE 접근법을 공통된 변분 유도를 통해 하나의 일관된 프레임워크로 통합한다.
• 이 간격은 특수한 형태의 이중 강건성을 보이며, 값 함수 또는 가중치 함수 클래스 중 하나만 잘 지정되어 있더라도 유효하며, 간격의 폭이 다른 성분의 오Specification 오차를 측정한다.
• 모든 데이터 구성 요소를 공동 최적화 프로그램을 통해 활용하므로, 개별 방법에서 유도된 날카롭지 않은 간격보다 일반적으로 더 날카로운 간격을 제공한다.
• 정적 분포와 흡수 상태를 고려한 기본 벨먼 항등식을 조정함으로써, 평균 보상 및 유한 수명 MDP에 자연스럽게 확장된다.
• 정책 클래스에 대해 하한과 상한을 최적화하는 것은 각각 낙관주의 원칙과 낙관주의 원칙에 해당하며, 악성 데이터 커버리지 조건 하에서도 신뢰할 수 있는 정책 최적화를 가능하게 한다.
• 부트스트랩을 통한 실험적 검증에서 통계적 오차를 효과적으로 다루는 것으로 나타났지만, 이론적 일반화 경계는 다소 느슨한 편이다.