[논문 리뷰] Clipped Action Policy Gradient

Yasuhiro Fujita, Shin‐ichi Maeda|arXiv (Cornell University)|2018. 02. 21.

Reinforcement Learning in Robotics참고 문헌 21인용 수 14

한 줄 요약

이 논문은 연속 제어 작업에서 행동 클리핑을 명시적으로 모델링함으로써 분산을 줄이는 새로운 정책 그래디언트 추정기인 클리핑된 행동 정책 그래디언트(CAPG)를 제안한다. 실행 전 행동이 유한한 범위로 클리핑된다는 사실을 활용하여, 기존 방법보다 분산이 낮고 편향이 없는 추정기를 제공함으로써, 다양한 MuJoCo 벤치마크에서 더 높은 샘플 효율성과 성능 향상을 이룬다.

ABSTRACT

Many continuous control tasks have bounded action spaces. When policy gradient methods are applied to such tasks, out-of-bound actions need to be clipped before execution, while policies are usually optimized as if the actions are not clipped. We propose a policy gradient estimator that exploits the knowledge of actions being clipped to reduce the variance in estimation. We prove that our estimator, named clipped action policy gradient (CAPG), is unbiased and achieves lower variance than the conventional estimator that ignores action bounds. Experimental results demonstrate that CAPG generally outperforms the conventional estimator, indicating that it is a better policy gradient estimator for continuous control tasks. The source code is available at https://github.com/pfnet-research/capg.

연구 동기 및 목표

• 제한된 행동 공간을 가진 연속 제어 작업에서 정책 그래디언트 추정의 높은 분산을 해결하기 위해.
• 행동 클리핑에 대한 지식을 정책 그래디언트 추정에 통합하여 딥 강화 학습의 샘플 효율성과 학습 안정성을 향상시키기 위해.
• 기존의 행동 범위를 忽시하는 정책 그래디언트 방법보다 분산을 줄이는 편향 없는 추정기를 개발하기 위해.
• PPO와 TRPO와 같은 기존의 딥 RL 알고리즘에서 그래디언트 분산을 줄여 더 나은 성능을 내도록 지원하기 위해.

제안 방법

• CAPG는 행동이 실행 전 유한한 범위로 클리핑된다는 사실을 조건으로 하는 새로운 정책 그래디언트 추정기를 유도한다.
• 이 방법은 클리핑된 행동 공간 위에서 그래디언트의 조건부 기대값을 사용하여 편향 없는 추정을 보장하면서 분산을 줄인다.
• 행동가가 클리핑되는 영역에서 행동 가치 함수가 일정함을 이용하여, 정책 그래디언트의 적분 형태를 활용한다.
• 약한 가정(예: 가우시안 정책에서 대각 행렬 공분산) 하에 유도되며, 표준 정책 매개변수화에 적용 가능하다.
• 조정 변수와 가치 함수 근사와 같은 기존의 분산 감소 기법과 함께 사용해도 편향을 유발하지 않으며, 별도의 수정 없이도 적용 가능하다.
• 기존 알고리즘에 최소한의 변경으로 통합 가능한, 표준 정책 그래디언트 계산의 미분 가능한 수정 형태로 구현된다.

실험 결과

연구 질문

• RQ1 연속 제어 작업에서 행동 클리핑을 명시적으로 모델링함으로써 정책 그래디언트 추정의 분산을 줄일 수 있는가?
• RQ2 행동 클리핑을 고려한 편향 없는 정책 그래디언트 추정기가 기존 추정기보다 샘플 효율성과 학습 안정성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 PPO와 TRPO와 같은 인기 있는 딥 RL 알고리즘에 통합했을 때 CAPG의 성능은 어떠한가?
• RQ4 조정 변수와 가치 함수 근사와 같은 기존의 분산 감소 기법과 효과적으로 조합될 수 있는가?
• RQ5 PPO와 같이 그래디언트 업데이트가 더 노이지한 알고리즘에서는 CAPG의 이점이 더 두드러지는가?

주요 결과

• 약한 가정(예: 가우시안 정책에서 대각 공분산) 하에, 기존 정책 그래디언트 추정기보다 CAPG가 엄격히 낮은 분산을 달성한다.
• 제안된 추정기는 편향이 없으며, 표준 정책 그래디언트 방법과 동일한 계산 복잡도를 유지한다.
• MuJoCo 연속 제어 벤치마크에서, CAPG는 평가된 모든 환경에서 기존 추정기와 동일하거나 더 뛰어난 성능을 보였다.
• 더 작은 미니배치를 사용하고 그래디언트 분산에 더 민감한 PPO는 TRPO보다 CAPG에서 더 뚜렷한 성능 향상을 보였다.
• TRPO 역시 CAPG의 이점을 얻었으며, 이는 더 강력한 최적화 프레임워크에서도 분산 감소 효과가 유효함을 시사한다.
• CAPG는 가우시안 정책이 행동 경계를 더 잘 활용할 수 있도록 하여, 극단부에서 높은 확률의 행동을 학습함으로써 베타 분포나 절단 가우시안과 같은 유한 분포의 행동을 모방한다.