[논문 리뷰] Boosting the Actor with Dual Critic

Bo Dai, Albert Shaw외 3명|arXiv (Cornell University)|2017. 12. 29.

Reinforcement Learning in Robotics참고 문헌 2인용 수 7

한 줄 요약

이 논문은 벨만 최적성 방정식의 라그랑주 이중형식에서 유도된 이중 캐시어-크리틱( Dual-AC)을 제안한다. 이는 정책 최적화를 액터와 이중 크리틱 간의 이인자 게임으로 모델링하며, 다단계 부트스트랩, 경로 정규화, 확률적 이중 상승을 통해 양측을 동일한 목표로 함께 최적화함으로써, MuJoCo 연속 제어 벤치마크에서 PPO와 TRPO를 크게 능가하는 샘플 효율성과 최종 성능을 달성한다.

ABSTRACT

This paper proposes a new actor-critic-style algorithm called Dual Actor-Critic or Dual-AC. It is derived in a principled way from the Lagrangian dual form of the Bellman optimality equation, which can be viewed as a two-player game between the actor and a critic-like function, which is named as dual critic. Compared to its actor-critic relatives, Dual-AC has the desired property that the actor and dual critic are updated cooperatively to optimize the same objective function, providing a more transparent way for learning the critic that is directly related to the objective function of the actor. We then provide a concrete algorithm that can effectively solve the minimax optimization problem, using techniques of multi-step bootstrapping, path regularization, and stochastic dual ascent algorithm. We demonstrate that the proposed algorithm achieves the state-of-the-art performances across several benchmarks.

연구 동기 및 목표

• 기본 액터-크리틱 방법의 불안정성과 낮은 샘플 효율성을 해결하기 위해 크리틱의 역할을 재고한다.
• 액터와 크리틱이 동일한 목적 함수를 향해 공동 최적화되는 원리적인 프레임워크를 개발한다.
• 벨만 방정식의 이중형을 활용하여 연속 제어 작업의 학습 안정성과 성능을 향상시킨다.
• 이중 최적화 기반 강화학습 알고리즘의 주요 불안정성 원인을 규명하고, 경로 정규화 및 다단계 부트스트랩을 통해 이를 완화한다.
• 어려운 MuJoCo 이동 작업에서 최신 기준 성능을 달성한다.

제안 방법

• 알고리즘은 벨만 최적성 방정식의 라그랑주 이중형식에서 유도되며, 정책 학습을 액터와 이중 크리틱 간의 이인자 게임으로 프레임화한다.
• 이중 크리틱은 현재 정책의 가치가 아니라 최적 가치 함수를 근사하도록 훈련되어, 더 직접적인 정책 개선을 가능하게 한다.
• 최소-최대 최적화 문제를 해결하기 위해 확률적 이중 상승 알고리즘을 사용하여, 공동 업데이트를 보장한다.
• 다단계 부트스트랩을 도입하여 가치 추정의 편향-분산 트레이드오프를 향상시킨다.
• 비볼록-볼록 설정에서의 수치적 안정성을 향상시켜 훈련 안정성을 강화하기 위해 경로 정규화를 적용한다.
• 전체 알고리즘은 이러한 구성 요소들을 통합하여 연속 제어 작업을 위한 안정적이고 샘플 효율적인 훈련 절차를 제공한다.

실험 결과

연구 질문

• RQ1 현재 정책의 가치 함수가 아니라 최적 가치 함수를 근사하는 이중 크리틱이 더 안정적이고 효율적인 정책 학습을 이끌 수 있는가?
• RQ2 액터-이중 크리틱 공동 최적화에서 주요 불안정성 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 다단계 부트스트랩은 이중 최적화 기반 강화학습에서 편향-분산 트레이드오프에 어떤 영향을 미치는가?
• RQ4 경로 정규화는 비볼록-볼록 설정에서 국소 이중성을 복원하고 훈련 안정성을 향상시킬 수 있는가?
• RQ5 제안된 Dual-AC 알고리즘이 PPO와 TRPO와 같은 최신 기준 알고리즘보다 다양한 연속 제어 작업에서 뛰어난 성능을 달성하는가?

주요 결과

• Dual-AC는 MuJoCo 환경 6개 중 5개에서 가장 높은 최종 성능를 기록했으며, InvertedDoublePendulum-v1, Hopper-v1, HalfCheetah-v1, Walker-v1를 포함한다.
• InvertedDoublePendulum-v1에서 Dual-AC는 최종 수익률 8599.47을 기록했으며, PPO(1776.26)와 TRPO(3070.96)를 크게 능가했다.
• Hopper-v1에서 Dual-AC는 최종 수익률 2983.79를 기록했으며, PPO(2376.15)와 TRPO(2483.57)보다 높았다.
• HalfCheetah-v1에서 Dual-AC는 3041.47을 기록했으며, PPO(2249.10)와 TRPO(2347.19)를 크게 초월했다.
• Walker-v1에서 Dual-AC는 4103.60을 기록했으며, PPO(3315.45)와 TRPO(2838.99)를 뛰어넘었다.
• 제거 실험을 통해 경로 정규화와 다단계 부트스트랩이 수렴과 성능 향상에 필수적임을 확인했으며, 단순한 Dual-AC는 수렴하지 못했다.