[논문 리뷰] Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning

Gregory Farquhar, Shimon Whiteson외 1명|arXiv (Cornell University)|2019. 09. 23.

Reinforcement Learning in Robotics참고 문헌 17인용 수 4

한 줄 요약

이 논문은 랜덤 워크의 고차 도함수 추정을 위한 새로운 목적함수인 Loaded DiCE를 제안한다. 이는 편향-분산 트레이드오프를 제어할 수 있도록 설계되었으며, 원거리 인과적 의존성에 대해 할인 메커니즘을 적용함으로써 자동 미분을 통해 저분산, 비편향의 고차 도함수 추정을 가능하게 한다. 이는 메타-강화학습 및 복잡한 순차적 결정 문제에서 성능을 크게 향상시킨다.

ABSTRACT

Gradient-based methods for optimisation of objectives in stochastic settings with unknown or intractable dynamics require estimators of derivatives. We derive an objective that, under automatic differentiation, produces low-variance unbiased estimators of derivatives at any order. Our objective is compatible with arbitrary advantage estimators, which allows the control of the bias and variance of any-order derivatives when using function approximation. Furthermore, we propose a method to trade off bias and variance of higher order derivatives by discounting the impact of more distant causal dependencies. We demonstrate the correctness and utility of our objective in analytically tractable MDPs and in meta-reinforcement-learning for continuous control.

연구 동기 및 목표

• 강화학습 및 순차적 결정 문제에서 고차 도함수 추정기의 높은 분산과 편향 문제를 해결하기 위해.
• 값 함수와 같은 임의의 이점 추정기(예: 가치 함수)를 사용하여 임의의 차수 도함수의 편향과 분산을 제어할 수 있도록 하기 위해.
• 마르코프 구조를 가진 확률적 계산 그래프에서 고차 도함수 추정을 지원하는, 자동 미분과 호환되는 단일의 미분 가능한 목적함수를 제공하기 위해.
• 원거리 의존성의 영향을 줄이는 데 목적이 있는 새로운 인과적 할인 메커니즘을 도입하여 고차 도함수의 편향과 분산에 대한 추가적인 제어를 가능하게 하기 위해.
• 분석적으로 접근 가능한 MDP와 메타-RL 환경에서 방법의 실증적 검증을 통해 학습 안정성과 성능 향상을 입증하기 위해.

제안 방법

• 논문은 마르코프 확률적 계산 그래프에서 임의의 차수 도함수에 대한 정확한 추정기들을 도출하기 위해, 다중 미분이 가능하도록 설계된 대체 목적함수를 유도한다.
• 이 목적함수는 임의의 이점 추정기(예: 가치 함수)를 도함수 추정 과정에 통합하여, 기존의 일阶 편향-분산 트레이드오프가 고차 도함수로 확장될 수 있도록 한다.
• 고차 도함수 계산에서 더 먼 원인적 의존성의 영향을 줄이기 위해, 초수치 λ를 통해 새로운 인과적 할인 메커니즘이 도입된다.
• 고차 도함수 추정에서 몬테카를로 샘플과 가치 함수 추정 간 상대적 가중치를 제어하기 위해 초수치 τ를 사용하며, 이는 명시적인 편향-분산 트레이드오프를 가능하게 한다.
• 이 방법은 자동 미분와 완전히 호환되며, 기존 코드베이스에 고차 도함수를 사용하는 경우 몇 줄의 코드 추가만으로 구현이 가능하다.
• 이 접근법은 이론적으로 정확하고 실용적으로 유용한 상태에서 고차 도함수를 지원하는 DiCE 목적함수의 일반화를 수행한다.

실험 결과

연구 질문

• RQ1 마르코프 구조를 가진 확률적 계산 그래프에서 임의의 차수 도함수의 저분산, 비편향 추정을 가능하게 하는 단일 목적함수를 유도할 수 있는가?
• RQ2 임의의 이점 추정기(예: 가치 함수)를 고차 도함수 추정에 얼마나 효과적으로 통합할 수 있으며, 이로 인해 편향과 분산을 얼마나 잘 제어할 수 있는가?
• RQ3 λ를 통한 인과적 할인은 고차 도함수의 편향-분산 트레이드오프에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 메타-RL 및 연속 제어 작업에서 학습 안정성과 성능 향상에 기여하는가?
• RQ5 실제 강화학습 응용에서 초수치 τ와 λ는 수렴성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 해석적으로 접근 가능한 작은 무작위 MDP에서 정확한 가치 함수를 사용할 경우, Loaded DiCE는 비편향이고 저분산인 고차 도함수 추정을 제공한다.
• 초수치 τ와 λ는 고차 도함수 추정에서 편향과 분산 간 효과적이고 융통성 있는 트레이드오프를 가능하게 하며, τ는 몬테카를로 추정과 가치 기반 추정 간 균형을 제어한다.
• CheetahDir 및 CheetahVel 작업에서의 메타-RL 실험에서, 비영일 λ(예: λ=0.5)은 비편향인 λ=1.0 버전보다 더 빠른 학습을 이끌었으며, 최종 성능 수준은 유사하게 수렴하였다.
• 단기 환경에서 높은 τ 값은 분산을 증가시키고 성능을 악화시켰으며, 이는 τ가 수익 분산과 가치 함수 품질에 따라 조정되어야 함을 시사한다.
• 메타-RL 환경에서 본 방법은 고차 추정기의 편향과 분산을 제어함으로써 학습 효율성과 최종 정책 성능 향상에 명백한 영향을 미쳤다.
• 이 프레임워크는 몇 줄의 코드 추가만으로 구현 가능하여, 기존의 고차 도함수를 사용하는 강화학습 코드베이스에 쉽게 통합할 수 있다.