[논문 리뷰] Characterizing the Gap Between Actor-Critic and Policy Gradient

Junfeng Wen, Saurabh Kumar외 2명|arXiv (Cornell University)|2021. 06. 13.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 비편향된 비선형 함수 근사기로 비선형 함수 근사기를 사용할 경우 액터-크리틱(AC)과 정책 기반 강화학습(PG) 방법 간의 이론적 격차를 규명하고 이를 메운다. 이는 비편향된 크리틱 추정치에 기인한 정책 개선 업데이트의 차이를 정량화함으로써 이루어지며, Residual Actor-Critic(Res-AC) 및 Stackelberg Actor-Critic(Stack-AC) 프레임워크를 제안한다. 이는 크리틱 잔차 또는 게임 이론 원리를 사용하여 AC 업데이트를 보정함으로써, 표본 효율성과 최종 성능을 크게 향상시킨다. 이는 표본화된 환경과 연속 제어 환경 모두에서 성능 향상을 이룬다.

ABSTRACT

Actor-critic (AC) methods are ubiquitous in reinforcement learning. Although it is understood that AC methods are closely related to policy gradient (PG), their precise connection has not been fully characterized previously. In this paper, we explain the gap between AC and PG methods by identifying the exact adjustment to the AC objective/gradient that recovers the true policy gradient of the cumulative reward objective (PG). Furthermore, by viewing the AC method as a two-player Stackelberg game between the actor and critic, we show that the Stackelberg policy gradient can be recovered as a special case of our more general analysis. Based on these results, we develop practical algorithms, Residual Actor-Critic and Stackelberg Actor-Critic, for estimating the correction between AC and PG and use these to modify the standard AC algorithm. Experiments on popular tabular and continuous environments show the proposed corrections can improve both the sample efficiency and final performance of existing AC methods.

연구 동기 및 목표

• 비선형 함수 근사기를 사용할 경우 액터-크리틱(AC)과 정책 기반 강화학습(PG) 방법 간의 목적함수와 기울기 측면에서의 정확한 차이를 규명하는 것.
• 비선형 함수 근사기를 사용할 경우, 임의의 비선형 함수 근사기로 크리틱을 근사할 때 AC 업데이트를 진정된 PG 업데이트로 전환하기 위해 필요한 구체적 보정을 규명하는 것.
• 부정확한 크리틱 가치 추정치에 의해 유도되는 편향을 줄임으로써 AC 방법의 PG에 대한 충실도를 향상시키는 것.
• 잔차 추정 또는 게임 이론 원리를 사용하여 AC 업데이트를 보정하는 실용적이고 확장 가능한 알고리즘을 개발하는 것.
• 이러한 보정이 표본화된 환경과 연속 제어 작업 전반에서 표본 효율성과 최종 성능을 향상시킨다는 것을 경험적으로 검증하는 것.

제안 방법

• 액터와 크리틱이 순차적으로 작동하며 크리틱이 가치 추정치를 설정하는 두 명의 플레이어인 스택엘베르크 게임으로 AC와 PG를 공식화한다.
• 크리틱의 가치 추정치 하에서 액터 목표를 분석함으로써 AC와 PG 간의 정확한 기울기 차이를 유도한다.
• 잔차(예측 오차)의 가치 함수를 학습하는 Residual Actor-Critic(Res-AC)를 제안하며, 이는 정책 기반 강화학습의 보정 항을 추정한다.
• Stackelberg Actor-Critic(Stack-AC)를 도입하여, AC 과정을 스택엘베르크 게임으로 모델링하며, 특정 조건 하에서 액터의 업데이트가 진정된 PG로 수렴함을 보여준다.
• Res-AC와 Stack-AC 보정을 Soft Actor-Critic(SAC)에 적용하여 표준 AC 방법과 직접 비교할 수 있도록 한다.
• 행렬-벡터 표기법을 사용하여 유도 과정을 단순화하고 정책 개선, 가치 함수 근사, 기울기 업데이트 간의 관계를 명확히 한다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사기를 사용할 경우, 액터-크리틱(AC)과 정책 기반 강화학습(PG) 방법 간의 정확한 이론적 격차는 무엇인가?
• RQ2 비선형 함수 근사기를 사용할 경우, AC와 PG 간의 정책 개선 업데이트의 차이를 목적 함수와 기울기 측면에서 어떻게 정량화할 수 있는가?
• RQ3 부정확한 크리틱에 의해 발생하는 편향은 크리틱의 잔차(TD 오차)를 사용하여 보정할 수 있는가?
• RQ4 특정 조건 하에서 스택엘베르크 게임로 모델링된 AC는 진정된 정책 기반 강화학습과 동치인가?
• RQ5 제안된 보정은 표본화된 환경과 연속 제어 환경 모두에서 표본 효율성과 최종 성능을 크게 향상시킬 수 있는가?

주요 결과

• AC와 PG 간의 격차는 AC가 크리틱으로부터 추정된 상태-행동 가치를 사용하기 때문에 발생한다. 이는 편향이 있을 수 있고, 수렴하지 않을 수 있기 때문에 최적의 정책 업데이트를 이끌지 못한다.
• AC 정책 업데이트와 진정된 PG 업데이트 간의 차이는 크리틱의 잔차(TD 오차)에 대한 함수로 정형화되며, 이는 가치 추정의 편향을 정량화한다.
• 크리틱의 잔차의 가치 함수를 학습하는 Res-AC는 진정된 정책 기반 강화학습 기울기를 성공적으로 복원하며, 표본화된 환경과 연속 제어 작업 모두에서 표본 효율성과 최종 성능을 향상시킨다.
• 스택엘베르크 게임 이론적 시각에서 유도된 Stack-AC는 약한 가정 하에서도 진정된 정책 기반 강화학습 기울기를 복원하며, 두 번째 원리적인 보정 메커니즘을 제공한다.
• 경험 결과로는 Res-AC와 Stack-AC 보정을 Soft Actor-Critic에 적용함으로써, 다양한 벤치마크 환경에서 더 빠른 학습과 더 높은 최종 수익을 달성함을 확인하였다.
• 제안된 보정은 GAE, TD3, TRPO와 같은 기존 기법들과 수직적(orthogonal)이며, 이를 함께 사용하여 성능을 추가로 향상시킬 수 있다.