[논문 리뷰] Do Differentiable Simulators Give Better Policy Gradients?

H. J. Terry Suh, Max Simchowitz외 2명|arXiv (Cornell University)|2022. 02. 02.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 복잡한 물리 시스템에서 경직성 또는 불연속성으로 인해 발생하는 문제에 대해, 미분 가능한 시뮬레이터가 강화학습의 정책 그래디언트 추정에 기여하는지 조사한다. 특히, 일阶(1차) 그래디언트(미분 가능한 시뮬레이터)와 영차(0차) 그래디언트(스토케스틱) 그래디언트를 혼합하는 α-순서 그래디언트 추정기인 새로운 방법을 제안하며, 이는 편향과 분산의 상충관계를 줄여 순수한 1차 또는 0차 방법보다 더 나은 국소 최소값으로 수렴함을 보여준다.

ABSTRACT

Differentiable simulators promise faster computation time for reinforcement learning by replacing zeroth-order gradient estimates of a stochastic objective with an estimate based on first-order gradients. However, it is yet unclear what factors decide the performance of the two estimators on complex landscapes that involve long-horizon planning and control on physical systems, despite the crucial relevance of this question for the utility of differentiable simulators. We show that characteristics of certain physical systems, such as stiffness or discontinuities, may compromise the efficacy of the first-order estimator, and analyze this phenomenon through the lens of bias and variance. We additionally propose an $α$-order gradient estimator, with $α\in [0,1]$, which correctly utilizes exact gradients to combine the efficiency of first-order estimates with the robustness of zero-order methods. We demonstrate the pitfalls of traditional estimators and the advantages of the $α$-order estimator on some numerical examples.

연구 동기 및 목표

• 복잡한 물리 제어 과제에서, 미분 가능한 시뮬레이터가 0차 방법보다 더 나은 정책 그래디언트를 제공하는지 평가하는 것.
• 경직성 또는 불연속성과 같은 조건에서, 이론적으로 낮은 분산을 가진 1차 그래디언트 추정기가 실패하는 이유를 규명하는 것.
• 로봇 공학 및 물리 시뮬레이션에서 흔히 나타나는 비연속적이고 스 tochastic한 경관에서 1차 및 0차 추정기 간의 편향-분산 상충관계를 분석하는 것.
• 1차 및 0차 그래디언트 사이를 보간하는 통합된 α-순서 그래디언트 추정기를 제안하여 내성적이고 효율적인 성능을 달성하는 것.
• 실증적으로 α-순서 추정기가 복잡한 물리 환경에서 순수한 추정기보다 더 나은 국소 최소값으로 수렴함을 입증하는 것.

제안 방법

• α-순서 그래디언트 추정기 제안: $\alpha \bar{\nabla}^{[1]}F(\boldsymbol{\theta}) + (1 - \alpha) \bar{\nabla}^{[0]}F(\boldsymbol{\theta})$, 여기서 $\alpha \in [0,1]$ 은 미분 가능한 시뮬레이터에서 유도된 정확한 1차 그래디언트와 몬테카를로 샘플링을 통한 0차 그래디언트 추정치를 혼합한다.
• 불연속성과 경직성 동역학이 존재할 경우 양 추정기의 편향과 분산을 분석하여, 1차 추정기가 편향을 띠게 되고 0차 추정기는 여전히 편향이 없음을 보여준다.
• 벡터값 그래디언트에 적합하게 수정된 벡터형 베르누이 부등식을 활용한 신뢰구간 추정을 도입하며, 경험적 분산과 히우리스틱한 상한 $R$ 을 사용해 무한한 노이즈를 다루는 데에 기여한다.
• 접촉 동역학을 포함한 수치 예제(예: 튀는 공, 기립하는 막대)에 대해 α-순서 추정기를 실증적으로 평가하여 수렴성과 해의 품질을 비교한다.
• 랜덤화된 스무딩을 활용해 스 tochastic한 대체 목표 함수를 생성함으로써, 비연속 시스템에서의 탐색 능력과 내성적 안정성을 향상시킨다.
• α-순서 추정기가 불연속성과 경직성으로 인해 발생하는 열악한 국소 최소값을 피할 수 있음을 입증하며, 이는 순수한 1차 방법이 애로를 겪는 원인이다.

실험 결과

연구 질문

• RQ1 경직성 또는 불연속성과 같은 물리 시스템 특성에서, 미분 가능한 시뮬레이터에서 유도된 1차 그래디언트 추정기가 낮은 분산을 가지더라도 실패하는 조건은 무엇인가?
• RQ2 비연속적이고 장기적인 수평 제어 문제에서 1차 및 0차 그래디언트 추정기 간의 편향-분산 상충관계는 어떻게 나타나는가?
• RQ3 하이브리드 α-순서 그래디언트 추정기가 순수한 1차 및 0차 방법보다 더 나은 국소 최소값으로 수렴하는 데에 성능을 뛰어올릴 수 있는가?
• RQ4 랜덤화된 스무딩의 사용이 접촉 및 비연속 동역학을 포함한 시스템에서 정책 그래디언트 최적화의 내성적 안정성을 향상시키는가?
• RQ5 α의 선택이 복잡한 물리 환경에서 수렴 속도와 해의 품질 간의 상충관계에 어떻게 영향을 미치는가?

주요 결과

• 불연속성 또는 경직성 동역학이 존재할 경우, 조건이 연속일지라도, 미분 가능한 시뮬레이터에서 유도된 1차 그래디언트 추정기는 편향을 띌 수 있다.
• 0차 추정기는 불연속성 하에서도 여전히 편향이 없지만, 특히 그래디언트가 소멸하는 평탄한 영역에서 높은 분산을 겪는다.
• α-순서 추정기는 편향과 분산을 효과적으로 균형 잡아, 수치 예제에서 순수한 추정기보다 더 나은 국소 최소값으로 수렴함을 보여준다.
• 비탄성 충돌 등 접촉에 의해 유도되는 불연속성 시스템에서는, α-순서 추정기가 1차 방법이 갇히는 열악한 국소 최소값을 피함을 입증한다.
• 0차 방법은 노이즈가 너무 많고 1차 방법은 불연속성으로 인해 오도되는 문제를 겪는, 기립하는 막대 시스템에서의 동량 전달 최대화 문제에서 α-순서 추정기는 더 뛰어난 내성적 안정성과 성능을 보여준다.
• 경험적 분산과 히우리스틱한 상한 $R$ 을 사용한 행렬 베르누이 부등식 기반의 실증적 신뢰구간은 그래디언트 추정기의 실용적이고 효과적인 불확실성 추정을 제공한다.