[논문 리뷰] Future-Dependent Value-Based Off-Policy Evaluation in POMDPs

Masatoshi Uehara, Haruka Kiyohara외 6명|arXiv (Cornell University)|2022. 07. 26.

Smart Grid Energy Management인용 수 6

한 줄 요약

이 논문은 잠재 상태의 대체로 미래 및 과거 관측치를 사용하는 미래 의존 가치 함수를 활용하여 부분 관측 가능한 MDPs(POMDPs)에 대한 모델 자유형 오프-폴리시 평가(OPE) 방법을 제안한다. 역사적 프록시를 도구 변수로 사용하는 조건부 모멘트 방정식으로 표현된 새로운 오프-폴리시 벨만 방정식을 유도하고, 미니맥스 학습 방법을 적용함으로써, 벨만 완전성 하에서 PAC-학습 가능한 OPE를 달성하여 장수명 POMDPs에서의 수명의 고통을 효과적으로 극복한다.

ABSTRACT

We study off-policy evaluation (OPE) for partially observable MDPs (POMDPs) with general function approximation. Existing methods such as sequential importance sampling estimators and fitted-Q evaluation suffer from the curse of horizon in POMDPs. To circumvent this problem, we develop a novel model-free OPE method by introducing future-dependent value functions that take future proxies as inputs. Future-dependent value functions play similar roles as classical value functions in fully-observable MDPs. We derive a new Bellman equation for future-dependent value functions as conditional moment equations that use history proxies as instrumental variables. We further propose a minimax learning method to learn future-dependent value functions using the new Bellman equation. We obtain the PAC result, which implies our OPE estimator is consistent as long as futures and histories contain sufficient information about latent states, and the Bellman completeness. Finally, we extend our methods to learning of dynamics and establish the connection between our approach and the well-known spectral learning methods in POMDPs.

연구 동기 및 목표

• 기존 방법들인 순차적 중요도 샘플링과 FQE가 기하급수적으로 증가하는 오차를 겪는 문제를 해결하기 위해, 부분 관측 가능한 MDPs(POMDPs)에 대한 오프-폴리시 평가(OPE)에서 수명의 고통을 해결하고자 한다.
• 완전한 역사를 필요로 하거나 관측 불가능한 잠재 상태에 의존하지 않는 모델 자유형 OPE 방법을 개발하여, 장수명의 부분 관측 가능한 환경에서의 실용적 적용을 가능하게 하고자 한다.
• 잠재 상태에 대한 충분한 정보를 포함하는 미래와 역사를 가정할 때, 특히 벨만 완전성 하에서 PAC 경계를 확보하는 이론적 보장을 수립하고자 한다.
• 일반 함수 근사기법, 특히 딥 네ural 네트워크와 선형 모델을 포함하여 호환 가능한 미래 의존 가치 함수를 도입함으로써, 고전적 LSTD와 피팅된-Q 평가를 POMDPs로 일반화하고자 한다.

제안 방법

• 미래 관측치(F)와 과거 관측치(H)를 조건으로 하는 미래 의존 가치 함수를 도입하여, 관측 불가능한 잠재 상태의 대체로 사용되며, 완전 관측 가능한 MDPs에서의 표준 가치 함수를 대체한다.
• POMDPs에 대한 새로운 오프-폴리시 벨만 방정식을 유도하며, 이는 역사적 프록시(H)가 가치 함수 추정을 위한 도구 변수로 작용하는 조건부 모멘트 방정식으로 표현된다.
• 함수 근사기에서의 사다리점 문제를 해결하기 위해, 함수 근사기의 집합 위에서 최소-최대 최적화 문제를 푸는 미니맥스 학습 프레임워크를 제안함으로써, 선형 모델, RKHS, 딥 네ural 네트워크 등과의 호환성을 확보한다.
• 두 단계 추정 절차를 적용한다: 첫째, 도구 변수 회귀를 통해 가치 다리 함수를 학습한다; 둘째, 추정된 가치 함수에 새로운 벨만 방정식을 강제로 적용하기 위해 미니맥스 최적화를 적용한다.
• 특히 가치 다리 함수 유도 과정에서, 도구 변수 회귀 단계의 일관성을 보장하기 위해 모어-펜로즈 역행렬을 추정 과정에 활용한다.
• 선형 및 비선형 함수 근사 설정 모두에 적용하여, 제안된 프레임워크 하에서 고전적 LSTD를 POMDPs로 일반화한다.

실험 결과

연구 질문

• RQ1 완전한 역사를 직접 의존하지 않음으로써, 장수명에서의 POMDPs에서의 오프-폴리시 평가가 수명의 고통에 대해 강건하게 유지될 수 있는가?
• RQ2 미래 관측치가 잠재 상태의 타당한 프록시로 사용되어, POMDPs에서 벨만 방정식을 만족하는 가치 함수를 구성할 수 있는가?
• RQ3 도구 변수를 활용한 조건부 모멘트 방정식 기반의 미니맥스 학습 방법이, POMDPs에서 PAC-학습 가능한 OPE 추정기법을 제공할 수 있는가?
• RQ4 제안된 방법이 장수명 POMDPs에서 기존의 SIS, SDR, FQE 기반 OPE 추정기법보다 추정 오차와 표본 효율성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 OPE 추정기는 벨만 완전성 하에서 PAC-학습 가능한 성능을 달성하며, 추정 오차가 미래 의존 가치 함수의 근사 오차에 의해 제한된다.
• SIS 및 FQE 기반 추정기와 달리, 추정 오차가 유효 수명과 함께 기하급수적으로 증가하지 않도록 함으로써, 수명의 고통을 효과적으로 극복한다.
• 미니맥스 학습 절차는 부분 관측 가능성 조건 하에서도 유도된 오프-폴리시 벨만 방정식을 만족하는 미래 의존 가치 함수를 성공적으로 학습한다.
• 이론적 분석을 통해, 도구 변수 회귀를 통한 가치 다리 함수는 제안된 프레임워크 하에서 일관성이 있음을 보여주며, 이는 유효한 정책 평가를 가능하게 한다.
• 수치 실험 결과, 특히 편향과 분산 측면에서 SIS, SDR, FQE 등의 베이스라인 방법보다 뛰어난 성능을 보여준다.
• 선형 함수 근사 설정에서 고전적 LSTD를 POMDPs로 일반화하며, 표본 기반의 표본 방법을 부분 관측 가능한 환경으로 원칙적으로 확장한다.