[논문 리뷰] GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values

Shangtong Zhang, Bo Liu외 1명|arXiv (Cornell University)|2020. 01. 29.

Reinforcement Learning in Robotics인용 수 35

한 줄 요약

GradientDICE는 Perron-Frobenius 기반 형식을 통해 발산 기반 목적함수를 대체하여 정상 값에 대한 수렴적인 오프폴리시 밀도-비율 추정기를 제시하고, 선형 함수 근사 수렴 및 GenDICE와 DualDICE에 비해 실험상의 이점을 제공합니다.

ABSTRACT

We present GradientDICE for estimating the density ratio between the state distribution of the target policy and the sampling distribution in off-policy reinforcement learning. GradientDICE fixes several problems of GenDICE (Zhang et al., 2020), the state-of-the-art for estimating such density ratios. Namely, the optimization problem in GenDICE is not a convex-concave saddle-point problem once nonlinearity in optimization variable parameterization is introduced to ensure positivity, so any primal-dual algorithm is not guaranteed to converge or find the desired solution. However, such nonlinearity is essential to ensure the consistency of GenDICE even with a tabular representation. This is a fundamental contradiction, resulting from GenDICE's original formulation of the optimization problem. In GradientDICE, we optimize a different objective from GenDICE by using the Perron-Frobenius theorem and eliminating GenDICE's use of divergence. Consequently, nonlinearity in parameterization is not necessary for GradientDICE, which is provably convergent under linear function approximation.

연구 동기 및 목표

• 타깃 상태 분포와 행동 분포 사이의 밀도 비율을 학습하여 오프폴리시 평가에서 분포 불일치를 해결합니다.
• 비선형성과 발산 기반 목적함수로 인해 GenDICE에서 발생하는 이론적/수렴 문제를 수정합니다.
• 선형 함수 근사에서 증명 가능한 수렴을 보장하는 새로운 목적함수와 알고리즘을 제안합니다.
• 벤치마크 작업 전반에서 GenDICE 및 DualDICE에 비해 우수함을 보이는 실증 근거를 제시합니다.

제안 방법

• GenDICE의 발산 기반 목적함수를 제2차 형식 L(τ) = 1/2 ||(Tτ) − Dτ||^2_{D^{-1}} + (λ/2)(d_μ^⊤ τ − 1)^2로 대체한다.
• 양성성 제약이 있는 비선형 매개변수화의 필요성을 피하기 위해 Perron-Frobenius 정리를 활용한다.
• 선형 함수 근사를 사용할 때 최적화가 τ에 대해 볼록하고 최대화 변수에 대해 오목함을 보이고, 이로써 증명 가능한 수렴이 가능하다.
• GradientDICE 업데이트를 도출한다: 최대화 변수 κ, η 및 선형 아키텍처 τ_w = Xw에 대한 업데이트(21)-(24)를 포함한다.
• 선형 함수 근사와 능선 정규화(ridge 정규화)를 사용할 때 올 가시수렴으로 올바른 τ로 가는 거의 확실한 수렴 분석을 제시한다.
• 투영 변형(프로젝티드 GradientDICE) 및 평균 반복들에 대한 유한 샘플 보장을 논의한다.

실험 결과

연구 질문

• RQ1 GradientDICE가 선형 함수 근사하에서 실제 밀도 비율 τ*로 증명 가능한 수렴을 보일 수 있는가?
• RQ2 발산 제거 및 비선형 매개변수화가 오프폴리시/오프라인 설정에서 GenDICE에서 관찰된 불안정성과 수렴 실패를 해소하는가?
• RQ3 정적 가치 추정에 대해 벤치마크 작업 및 아키텍처(표 형태, 선형/NN) 전반에서 GradientDICE의 GenDICE 및 DualDICE 대비 성능은 어떠한가?
• RQ4 GradientDICE의 유한 샘플 보장은 무엇이며, 투영이 성능과 일관성에 어떤 영향을 미치는가?

주요 결과

• GradientDICE는 선형 함수 근사에서 실제 밀도 비율 τ*로 증명 가능한 수렴을 보인다.
• 발산 항과 양성성 제약을 제거하면 비선형 매개변수화가 필요 없어져 목적함수의 비볼록성 문제를 피할 수 있다.
• 능선 정규화로 γ = 1인 경우 수렴이 보장되며 제시된 경로 하에서 일관된 추정치를 얻는다.
• 투영 변형에 대한 유한 샘플 해석이 제공되며 평균 반복에 대한 확률적 오차 경계가 도출된다.
• 실험 결과 GradientDICE가 표 및 선형 설정 모두에서 밀도-비율 학습 작업에서 GenDICE 및 DualDICE에 비해 우수함을 보여주며 재현성을 위한 코드를 공개했다.