[논문 리뷰] Gradient Informed Proximal Policy Optimization

Sanghyun Son, Laura Zheng외 3명|arXiv (Cornell University)|2023. 12. 14.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 분석적 기울기를 다양한 환경에서 유연하게 통합할 수 있도록 설계된 새로운 방법인 기울기 정보를 반영한 프록시럴 정책 최적화(GI-PPO)를 제안한다. 이는 기울기의 분산과 편향을 평가하여 영향력을 동적으로 조절하는 적응형 $\alpha$-정책을 도입함으로써, PPO 프레임워크에 분석적 기울기를 통합한다. 이 방법은 기능 최적화, 물리 시뮬레이션, 편향된 교통 제어 환경 등에서 기준 모델들보다 뛰어난 성능을 보이며, 고차원의 역학을 가진 10차선 패이스카 문제에서도 뛰어난 성능을 기록한다.

ABSTRACT

We introduce a novel policy learning method that integrates analytical gradients from differentiable environments with the Proximal Policy Optimization (PPO) algorithm. To incorporate analytical gradients into the PPO framework, we introduce the concept of an α-policy that stands as a locally superior policy. By adaptively modifying the α value, we can effectively manage the influence of analytical policy gradients during learning. To this end, we suggest metrics for assessing the variance and bias of analytical gradients, reducing dependence on these gradients when high variance or bias is detected. Our proposed approach outperforms baseline algorithms in various scenarios, such as function optimization, physics simulations, and traffic control environments. Our code can be found online: https://github.com/SonSang/gippo.

연구 동기 및 목표

• PPO와 같은 온정책 강화학습 방법은 분산과 편향 추정을 위한 직접적인 가능도 비율(LR) 기울기 접근 방식이 없기 때문에, 분석적 기울기를 통합하는 데 도전하는 문제를 해결하고자 한다.
• 분석적 기울기가 신뢰할 수 있을 때(낮은 분산과 편향)는 이를 활용하고, 신뢰할 수 없을 때는 그 영향력을 줄이는 방법을 개발하고자 한다.
• 예측 불가능하거나 부분적으로 미분 가능한 역학을 가진 환경, 예를 들어 교통 시뮬레이션과 같은 환경에서 안정적이고 높은 성능의 정책 학습을 가능하게 하고자 한다.
• 이중 기울기 추정(LR + RP)에 필요한 높은 비용을 줄이기 위해, PPO 프레임워크 내에서 분석적 기울기의 자가 평가 메커니즘을 도입함으로써, 이에 대한 필요성을 제거하고자 한다.

제안 방법

• 표준 PPO 업데이트와 분석적 기울기 기반 업데이트 사이를 조정하는 $\alpha$-정책을 도입하며, $\alpha$는 기울기 품질에 따라 적응적으로 조정된다.
• 가능도 비율 기울기 계산이 필요 없이도 환경 역학에서 직접 분석적 기울기의 분산과 편향을 추정할 수 있는 지표를 제안한다.
• 정책 업데이트의 안정성을 확보하면서도 분석적 기울기의 영향력을 동적으로 허용하기 위해, PPO에서 서브티튜트 손실 함수를 사용한다.
• 물리 시뮬레이터나 교통 모델과 같은 미분 가능한 환경에서 분석적 기울기를 계산하기 위해 시간에 따라 역전파(BPTT)를 활용한다.
• 실시간으로 $\alpha$를 조정한다: 기울기가 낮은 분산과 편향을 보일 경우 영향력을 증가시키고, 기울기가 신뢰할 수 없을 경우 감소시킨다.
• 기능 최적화, 미분 가능한 물리 시뮬레이션, 다중 차선 교통 제어 등 다양한 환경에서 방법을 검증하며, 불안정한 에피소드의 조기 종료를 적용한다.

(a) De Jong’s Function

실험 결과

연구 질문

• RQ1 가능도 비율 기울기 추정에 의존하지 않고도, 다양한 환경에서의 분석적 기울기를 PPO 프레임워크에 효과적이고 안전하게 통합할 수 있는가?
• RQ2 정책 학습 중에 분석적 기울기의 추정된 분산과 편향에 기반해 그 영향력을 적응적으로 제어할 수 있는가?
• RQ3 제안된 GI-PPO 방법이 편향되거나 고분산인 분석적 기울기를 가진 환경에서 표준 PPO, RP 전용, LR+RP 기준 모델들을 능가하는가?
• RQ4 분석적 기울기가 이산적인 사건(예: 차선 변경)으로 인해 본질적으로 편향되는 실생활에 가까운 복잡한 교통 제어 시나리오에서 GI-PPO가 뛰어난 성능을 내는가?
• RQ5 기존의 기울기 기반 강화학습 접근법 대비 제안된 방법의 계산 비용은 얼마나 되는가?

주요 결과

• GI-PPO는 기능 최적화, 미분 가능한 물리 시뮬레이션, 다중 차선 교통 제어 환경에서 표준 PPO, RP 전용, LR+RP 기준 모델들을 능가하는 성능을 기록한다.
• 10차선 패이스카 문제에서, 분석적 기울기가 이산적 차선 변경으로 인해 편향되어 있음에도 불구하고, GI-PPO는 기준 방법들보다 훨씬 높은 누적 보상을 달성했다.
• 기울기가 높은 분산이나 편향을 보일 경우, 적응형 $\alpha$-값이 감소함으로써 분석적 기울기 의존도를 줄이는 것이 확인되었다.
• GI-PPO는 LR+RP보다 훨씬 낮은 계산 비용으로 뛰어난 성능을 기록했다. 표 2에 따르면, 모든 교통 설정에서 학습 시간이 LR+RP 대비 50-60% 짧았다.
• 기울기가 신뢰할 수 없을 경우에도, PPO 기반 업데이트와 기울기 기반 업데이트를 동적으로 균형 잡음으로써 혼란스러운 환경에서도 안정적인 학습을 유지하며, 발산을 방지했다.
• 벽시계 기반 학습 시간 측정 결과, GI-PPO는 효율적이었다: 10차선 교통 환경에서 LR+RP의 2103초 대비 533초로, 더 짧은 시간에 뛰어난 성능을 달성했다.

(b) Ackley’s Function