[논문 리뷰] From Importance Sampling to Doubly Robust Policy Gradient

Jiawei Huang, Nan Jiang|arXiv (Cornell University)|2019. 10. 20.

Optimization and Search Problems참고 문헌 18인용 수 4

한 줄 요약

이 논문은 이방향 평가(OPE) 기법, 특히 双중으로 강건한(DR) 추정기에서 정책 그래디언트(PG) 추정기를 유도하는 통합 프레임워크를 수립한다. 유한 차분을 DR 기반의 가치 추정기에 적용함으로써, 최신의 분산 감소 기법을 포함하고 분산을 더 낮추며, 결정성 있는 MDP에서 Cramér-Rao 하한에 가까운 성능을 달성하는 일반적인 PG 형태를 도출한다.

ABSTRACT

We show that on-policy policy gradient (PG) and its variance reduction variants can be derived by taking finite difference of function evaluations supplied by estimators from the importance sampling (IS) family for off-policy evaluation (OPE). Starting from the doubly robust (DR) estimator (Jiang & Li, 2016), we provide a simple derivation of a very general and flexible form of PG, which subsumes the state-of-the-art variance reduction technique (Cheng et al., 2019) as its special case and immediately hints at further variance reduction opportunities overlooked by existing literature. We analyze the variance of the new DR-PG estimator, compare it to existing methods as well as the Cramer-Rao lower bound of policy gradient, and empirically show its effectiveness.

연구 동기 및 목표

• 온정책 정책 그래디언트와 이방향 중요도 샘플링 기법 사이의 깊은 이론적 연결 고리를 밝혀내는 것.
• 이중으로 강건한(DR) OPE 추정기에 유한 차분을 적용하여 일반적이고 유연한 정책 그래디언트 추정기를 도출하는 것.
• DR 추정기의 보조 정보와 구조적 성질을 활용하여 정책 그래디언트 추정의 분산을 낮추는 것.
• 제안된 DR-PG 추정기가 결정성 있는 MDP에서 정책 그래디언트 분산의 Cramér-Rao 하한에 가까워지는지 보여주는 것.

제안 방법

• 정책 그래디언트는 기대 수익의 유한 차분으로 유도되며, 수익은 중요도 샘플링(IS) 가족의 어떤 방법으로도 추정된다.
• Jiang & Li (2016)의 이중으로 강건한(DR) 추정기를 바탕으로 새로운 일반 정책 그래디언트 추정기를 구성한다.
• 모델 기반 가치 추정과 중요도 가중 보정을 모두 포함하여, 어느 성분의 오차에도 강건한 성질을 확보한다.
• 결과적으로 도출된 DR-PG 추정기는 궤적 단위 제어 변수를 포함하고, $ abla_{m{ heta}} ilde{Q}$ 및 $ ilde{G}_2$ 항을 통해 기울기 의존 보정을 허용한다.
• 이 프레임워크는 Cheng 등 (2019)의 궤적 단위 제어 변수 기법을 특수 케이스로 자연스럽게 포함한다.
• 실용적 수정 사항을 적용하여 구현한다: $ heta = 0.9$, $ ho_{[0:t]}$, 및 부트스트랩 가치 추정기 $ ilde{V}, ilde{Q}$.

실험 결과

연구 질문

• RQ1 정책 그래디언트 추정은 이방향 평가 추정기, 특히 이중으로 강건한 추정기에서 체계적으로 도출될 수 있는가?
• RQ2 DR 기반 정책 그래디언트 추정기는 기존 최고 수준의 방법보다 낮은 분산을 달성하는가?
• RQ3 제안된 프레임워크는 이전 연구에서 간과된 새로운 분산 감소 기회를 드러내는가?
• RQ4 결정성 있는 MDP에서 DR-PG 추정기의 분산은 Cramér-Rao 하한에 얼마나 가까운가?
• RQ5 기울기 의존 보정과 보조 정보는 추정기 효율성 향상에 어떤 역할을 하는가?

주요 결과

• DR-PG 추정기는 per-step IS 및 상태-행동 의존 기준선과 같은 기준 방법보다 분산이 현저히 낮다.
• 제안된 DR-PG 추정기는 Cheng 등 (2019)의 최고 수준 방법을 특수 케이스로 포함함으로써 그 일반성과 유연성을 확인한다.
• 결정성 있는 MDP에서 DR-PG 추정기의 분산이 Cramér-Rao 하한에 가까워지는 것으로 입증되었으며, 이는 근사 최적의 효율성을 의미한다.
• $ abla_{m{ heta}} ilde{Q}$ 및 $ ilde{G}_2$ 항의 포함은 기존 제어 변수 기법을 초월한 추가적인 분산 감소를 가능하게 한다.
• 실험 결과는 DR-PG 추정기가 여러 환경에서 표본 효율성과 분산 감소 측면에서 모든 기준 방법을 압도함을 확인한다.
• 이 방법은 IS와 PG 사이의 연결 고리가 표면적인 것이 아니라 근본적인 것이며, 분산 감소 정책 그래디언트 추정기의 통합적 유도 및 분석을 가능하게 한다.