[논문 리뷰] Iterative Amortized Policy Optimization

Joseph Marino, Alexandre Piché외 2명|CaltechAUTHORS (California Institute of Technology)|2020. 10. 20.

Reinforcement Learning in Robotics참고 문헌 81인용 수 5

한 줄 요약

이 논문은 반복적 약어화 정책 최적화(IAPO)를 제안하며, 경량화된 정책 추정을 기반으로 한 기울기 기반 업데이트를 반복적으로 적용하여 약어화 갭을 줄이고 다중 정책 모드를 가능하게 함으로써 연속 제어에서 딥 강화 학습을 향상시킨다. MuJoCo 벤치마크에서 직접 약어화와 표준 SAC보다 뛰어난 성능을 보이며, 특히 다중 모드 행동 공간에서 뛰어나다.

ABSTRACT

Policy networks are a central feature of deep reinforcement learning (RL) algorithms for continuous control, enabling the estimation and sampling of high-value actions. From the variational inference perspective on RL, policy networks, when used with entropy or KL regularization, are a form of extit{amortized optimization}, optimizing network parameters rather than the policy distributions directly. However, extit{direct} amortized mappings can yield suboptimal policy estimates and restricted distributions, limiting performance and exploration. Given this perspective, we consider the more flexible class of extit{iterative} amortized optimizers. We demonstrate that the resulting technique, iterative amortized policy optimization, yields performance improvements over direct amortization on benchmark continuous control tasks.

연구 동기 및 목표

• 직접 정책 네트워크 매핑이 열악한 행동 분포를 초래하는 딥 강화 학습의 약어화 갭을 해소하기 위해.
• 직접 약어화의 제한 사항, 예를 들어 제한된 탐색과 단일 추정 출력을 극복하기 위해.
• 추론 중에 반복적 기울기 업데이트를 활용하여 더 정확하고 민첩한 정책 최적화를 가능하게 하기 위해.
• 복잡한 제어 환경에서 반복적 약어화의 일반화 및 다중 모드 이점을 탐색하기 위해.
• 훈련 중 반복적 개선이 테스트 시간 최적화를 초월해 점차적 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 각 상태당 다수의 기울기 단계를 거쳐 정책 네트워크를 개선하는 반복적 약어화 추론으로 정책 최적화를 공식화하기 위해.
• 다양한 기울기 상승 기반으로 정책 목표에 따라 반복적으로 업데이트되는 행동 분포 매개변수(평균 및 분산)를 출력하는 가역적, 가역성 있는 정책 네트워크를 사용하기 위해.
• Q-값 함수에서 계산된 기울기를 사용하여 정책 기울기 목표를 기반으로 정책 네트워크 매개변수에 기울기 업데이트를 적용하기 위해.
• 다양한 정책 추정치를 얻기 위해 초기화 및 최적화에 무작위성을 도입하여 탐색 능력을 향상시키기 위해.
• 표준 RL 알고리즘(예: SAC)을 사용해 정책 네트워크를 종단 간 엔드 투 엔드로 훈련하되, 훈련 및 평가 중 모두 반복적 개선을 적용하기 위해.
• 반복적 업데이트를 통해 약어화 최적화자로 정책를 해석하기 위해 변분 추론 프레임워크를 사용하며, 이로써 근사 최적 정책과 진정 최적 정책 간 갭이 감소한다.

실험 결과

연구 질문

• RQ1 반복적 약어화 최적화는 직접 약어화에 비해 딥 강화 학습에서 약어화 갭을 줄일 수 있는가?
• RQ2 반복적 개선은 다중 모드 행동 공간에서 탐색을 향상시키기 위해 각 상태당 다수의 정책 추정치를 가능하게 하는가?
• RQ3 훈련 중 반복 최적화는 테스트 시간 최적화에 비해 최종 성능에 어떤 영향을 미치는가?
• RQ4 재훈련 없이도 반복적 약어화는 새로운 목표나 가치 함수로 일반화 가능한가?
• RQ5 연속 제어 작업에서 증가된 계산(다중 반복)과 성능 향상 사이의 상충 관계는 무엇인가?

주요 결과

• 반복적 약어화 정책 최적화는 특히 다중 모드가 핵심적인 환경인 Walker2d-v2와 Ant-v2에서 약어화 갭을 크게 줄였다.
• Hopper-v2, HalfCheetah-v2, Walker2d-v2에서 IAPO는 직접 약어화와 표준 SAC를 모두 능가했으며, 최종 수익에서 일관된 향상을 보였다.
• 단일 반복조차도 직접 약어화를 능가했으며, 이는 반복적 개선이 다중 모드 행동을 효과적으로 포착한다는 것을 시사한다.
• 평가 중 추가 반복이 환경 성능 향상에 기여하지 않았다. 이는 가치 함수의 정확도 부족이 테스트 시간 최적화의 이점을 제한한다는 것을 시사한다.
• 훈련 중 반복 단계 수를 늘리면(예: 5단계 vs. 1단계) 점차적 성능이 향상되고 약어화 갭이 감소함을 확인했으며, 이는 훈련 시간 개선이 더 효과적임을 입증한다.
• 각 상태당 10회의 최적화 실행에서 다수의 정책 추정치가 관찰되었으며, 정책 평균 간 L2 거리 측정치는 특히 Walker2d-v2와 Ant-v2에서 행동 공간의 지속적인 다중 모드성을 나타냈다.