[논문 리뷰] Total stochastic gradient algorithms and applications in reinforcement learning

Paavo Parmas|arXiv (Cornell University)|2019. 02. 05.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 총미분 법칙을 사용하여 확률적 계산 그래프에서 기울기 추정을 위한 새로운 프레임워크를 제안하며, 정책 기울기 추정기의 직관적인 유도를 가능하게 한다. 새로운 추정기인 DEL(Density Estimation-based)와 GS(중간 노드로의 점프)를 제안하고, 가우시안 근사에 의한 기울기 및 보상 스무딩이 강화학습에서 PILCO의 성공을 설명하는 데 기여함을 제시한다.

ABSTRACT

Backpropagation and the chain rule of derivatives have been prominent; however, the total derivative rule has not enjoyed the same amount of attention. In this work we show how the total derivative rule leads to an intuitive visual framework for creating gradient estimators on graphical models. In particular, previous "policy gradient theorems" are easily derived. We derive new gradient estimators based on density estimation, as well as a likelihood ratio gradient, which "jumps" to an intermediate node, not directly to the objective function. We evaluate our methods on model-based policy gradient algorithms, achieve good performance, and present evidence towards demystifying the success of the popular PILCO algorithm.

연구 동기 및 목표

• 확률적 계산 그래프에서 기울기 추정기를 유도하기 위한 통합적이고 직관적인 프레임워크를 개발하는 것.
• Schulman 등이 제안한 서피스 손실 접근 방식과 같은 기존 프레임워크의 한계를 해결하는 것 — 특히 결정적 정책 기울기와 총 전파를 다루지 못하는 점.
• 가우시안 기반 궤도 근사에서 기울기 효과와 보상 효과를 분리함으로써 PILCO 알고리즘의 성공에 대한 새로운 통찰을 제공하는 것.
• 혼돈의 저주를 피하고 노이즈 주입이 필요 없는 새로운 기울기 추정기를 도입함으로써 샘플 효율성과 안정성을 향상시키는 것.

제안 방법

• 확률적 그래프 내 계산 경로를 분해하기 위해 총미분 법칙 $\frac{df}{da} = \frac{\partial f}{\partial a} + \frac{\partial f}{\partial b}\frac{db}{da}$ 를 사용한다.
• 노이즈 주입이 필요 없이 밀도 추정을 통해 기울기를 추정하는 DEL(Density Estimation-based Likelihood Ratio) 추정기를 제안한다.
• 최종 목표가 아니라 계산 그래프 내 중간 노드로의 기울기 추정을 수행하는 GS(Gradient to an Intermediate Node) 추정기를 도입한다.
• 모델 기반 정책 기울기 알고리즘에 이 프레임워크를 적용하여 카트폴 스윙업 및 균형 유지 작업에서 성능을 평가한다.
• 모델 구조와 추론 알고리즘을 분리하는 확률적 계산 그래프 추상화를 사용하며, 이는 확률적 그래픽 모델과 유사하다.
• 합성 및 실제 세계 벤치마크를 모두 활용하여 GTP(Generalized Total Propagation), PILCO 및 기타 베이스라인을 비교하며 성공률과 손실 분포를 측정한다.

실험 결과

연구 질문

• RQ1 총미분 법칙은 어떻게 확률적 계산 그래프에서 기울기 추정기를 체계적으로 도출하는 데 사용될 수 있는가?
• RQ2 중간 노드로의 기울기 추정(GS)과 직접 목표로의 추정 간의 개념적 및 경험적 이점은 무엇인가?
• RQ3 PILCO에서의 성공에 기여하는 가우시안 근사는 기울기 안정성인지, 보상 스무딩인가?
• RQ4 밀도 추정 기반 기울기 추정기(DEL)는 혼돈의 저주를 피하고 노이즈 주입이 필요 없이 정책 기울기에서 제거할 수 있는가?
• RQ5 카트폴 스윙업과 같은 도전적인 제어 작업에서 다양한 기울기 추정기는 데이터 효율성과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• GS 추정기는 입자 궤적의 시간적 의존성을 유지하면서 이산 계산을 통해 역전파를 가능하게 하며, 재표본화 기반 방법과는 다르다.
• Tip Cost 작업에서 GTP(Generalized Total Propagation)는 PILCO와 유사한 성능을 보이며, 최종 손실이 $9.78 \pm 0.40$로, PILCO의 $9.10 \pm 0.22$ 와 유사하다.
• 낮은 노이즈($k=10^{-2}$) 조건인 Angle Cost 시나리오에서 GTP는 성공률 0.88을 기록하여 PILCO와 동일하며, TP(Total Propagation)는 유의미하게 열등한 0.82를 기록한다.
• DEL 추정기는 혼돈의 저주와 노이즈 주입이 필요 없음을 고려할 때 강력한 개념적 잠재력을 보이며, 다만 향후 개발이 필요하다.
• GTP와 PILCO에서의 이질적 값들은 가우시안 상태 분포의 꼬리 부분을 이용해 국소 최소점에 수렴함으로써 발생하며, 이는 PILCO의 탐색 전략에 대한 이전 가정을 도전한다.
• 기울기 안정성과 가우시안 근사를 통한 보상 스무딩이 모두 PILCO의 성공에 기여하며, 특히 LR 기반 방법이 실패하는 고노이즈 환경에서 후자가 특히 효과적이다.