[논문 리뷰] GenDICE: Generalized Offline Estimation of Stationary Values

Ruiyi Zhang, Bo Dai외 2명|arXiv (Cornell University)|2020. 02. 21.

Reinforcement Learning in Robotics참고 문헌 48인용 수 50

한 줄 요약

GenDICE는 고정된 분포 보정 비율을 사용하여 정지값(quantity)와 관련된 양에 대해 일관된 오프라인 추정기를 제공하며, 오프정책 평가(off-policy evaluation) 및 오프라인 PageRank에 적용 가능하다.

ABSTRACT

An important problem that arises in reinforcement learning and Monte Carlo methods is estimating quantities defined by the stationary distribution of a Markov chain. In many real-world applications, access to the underlying transition operator is limited to a fixed set of data that has already been collected, without additional interaction with the environment being available. We show that consistent estimation remains possible in this challenging scenario, and that effective estimation can still be achieved in important applications. Our approach is based on estimating a ratio that corrects for the discrepancy between the stationary and empirical distributions, derived from fundamental properties of the stationary distribution, and exploiting constraint reformulations based on variational divergence minimization. The resulting algorithm, GenDICE, is straightforward and effective. We prove its consistency under general conditions, provide an error analysis, and demonstrate strong empirical performance on benchmark problems, including off-line PageRank and off-policy policy evaluation.

연구 동기 및 목표

• 고정된 transition 샘플로부터 오프라인에서 정지량을 추정하는 문제를 형식화한다.
• GenDICE를 제안한다, 이중 임베딩 목표를 갖는 정지 분포 보정 추정기이다.
• GenDICE의 일관성을 확립하고 오차 분석을 제공한다.
• 오프라인 PageRank 및 오프폴리시 평가 벤치마크에서 강력한 실험적 성능을 보여준다.

제안 방법

• tau* = mu/pi 보정을 밀도 비율 tau = mu/p로 공식화하고 D(T_gamma, mu0^p ◦ tau || p ◦ tau)의 최소화를 도출한다.
• 타락한 해를 피하기 위한 패널티 기반의 해 집합을 도입하고 lambda>0일 때 tau* = u/p가 패널라이즈된 문제의 해임을 보장한다.
• f-다이버전스와의 이중 임베딩을 사용하여 문제를 샘플로 다룰 수 있는 최소-최대 샐도포인트 목적함수로 변환한다.
• chi-제곱 다이버전스로 특수화하여 실용적 J_chi^2 목적을 제시하고 tau와 이중 함수 f를 신경망으로 매개화한다.
• 샘들에 대한 편향 없는 그래디언트 추정과 확장 가능한 SGD 기반 알고리즘(GenDICE)을 구현한다.
• 선택적으로 IPM 기반 다이버전스로 확장하고(예: MMD) 커널 기반 이중과의 트레이드오프를 논의한다.

실험 결과

연구 질문

• RQ1 고정된 오프라인 데이터에서 transition 샘플러에 접근하지 않고도 정지 값 추정을 어떻게 수행할 수 있는가?
• RQ2 정지 분포에 대한 보정 비율을 정의하면 비할인 및 할인 설정에서 일관된 추정치를 얻을 수 있는가?
• RQ3 샘플에서 비타락한 해를 피하면서 비정상적으로 보이는 해를 피하는 실용적이고 안정적인 최적화 목표는 무엇인가?
• RQ4 GenDICE가 모델 기반 또는 IS 기반 기준선과 비교했을 때 오프라인 PageRank 및 오프폴리시 평가에서 어떻게 성능을 보이는가?

주요 결과

• GenDICE는 일반적인 조건 하에서 정지 분포 보정에 대한 일관된 추정기를 제공한다.
• 이중 임베딩 구성과 f-다이버전스를 사용함으로써 tau에서 볼록한 목적함수를 얻고 gamma가 (0,1]인 경우에도 안정적으로 작동하며 gamma=1도 포함된다.
• 정리 1은 E_p[tau]=1 제약 조건이 있는 패널라이즈된 목적이 lambda>0일 때 tau* = u/p를 해로 갖고, 해가 타락하지 않게 한다.
• chi-제곱 다이버전스는 tau와 이중 f를 신경망으로 매개화하기에 실용적인 J_chi^2 목적을 가능하게 한다.
• 실험적 결과는 GenDICE가 표 형태의 OPR 및 Taxi 도메인 OPE 설정에서 모델 기반 방법보다 우수하며, 할인된 경우 DualDICE에 비해 경쟁력 있거나 우수하고 gamma=1 근처에서 더 안정적이다.
• 이 방법은 신경망과 확률적 최적화를 사용한 연속 제어 과제로 확장 가능하다.