[논문 리뷰] Boosting Trust Region Policy Optimization by Normalizing Flows Policy

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|2018. 09. 27.

Reinforcement Learning in Robotics참고 문헌 23인용 수 20

한 줄 요약

이 논문은 신뢰영역정책최적화(TRPO)의 성능을 향상시키기 위해 정규화 흐름(NF)을 정책 아키텍처로 사용함으로써 더 효과적인 탐색을 가능하게 하며, 다양한 비정규분포를 생성함으로써 제약이 심한 KL 발산 제약의 영향을 줄인다. NF 정책은 제약이 덜한 방식으로 작동하여 수렴 속도가 빨라지고, 특히 고차원적이고 복잡한 제어 과제에서 뛰어난 성능을 발휘한다. 이는 TRPO 및 ACKTR 프레임워크에서 표준 정규분포 정책보다도 뛰어나다.

ABSTRACT

We propose to improve trust region policy search with normalizing flows policy. We illustrate that when the trust region is constructed by KL divergence constraints, normalizing flows policy generates samples far from the 'center' of the previous policy iterate, which potentially enables better exploration and helps avoid bad local optima. Through extensive comparisons, we show that the normalizing flows policy significantly improves upon baseline architectures especially on high-dimensional tasks with complex dynamics.

연구 동기 및 목표

• 표준 정규분포 정책을 더 표현력이 풍부한 정규화 흐름(NF) 정책으로 대체하여 신뢰영역정책최적화(TRPO)의 성능을 향상시키는 것.
• NF 정책이 TRPO에서 KL 발산 제약의 제약을 완화하여 더 나은 탐색과 더 빠른 수렴을 가능하게 하는지 조사하는 것.
• 복잡한 동역학을 가진 다양한 고차원 제어 과제에서 NF 정책의 강인성과 성능을 평가하는 것.
• TRPO 및 ACKTR 프레임워크에서 기준 아키텍처(예: 분리된 정규분포)와 비교하여 NF 정책의 샘플 효율성 및 점진적 성능 향상을 평가하는 것.

제안 방법

• 연속적인 정규화 흐름 기반의 정책 파arameterization으로 NF를 사용하여, 다중모달성, 유연성, 상관관계가 있는 행동 분포를 가능하게 한다.
• 학습 안정성을 확보하기 위해 NF 정책을 TRPO 및 ACKTR에 통합하면서 연속된 정책 간의 KL 발산 신뢰영역 제약을 유지한다.
• K개의 커파링 레이어를 가진 정규화 흐름을 사용하며, 각 레이어는 학습 가능한 매개변수를 가진 역행성 변환을 적용하고, 상태에 따라 신경망 임bedding을 통해 흐름을 조건화한다.
• 계산의 실현 가능성을 확보하기 위해 Fisher 정보 행렬을 사용하여 KL 발산 제약을 근사함으로써 신뢰영역의 기하학적 성질을 유지한다.
• NF 정책의 가능도 비율을 변수변환 공식을 통해 계산하고, 이점 가중 정책 기울기 업데이트를 사용하여 온정책 롤아웃을 통해 정책을 학습한다.
• 상태 조건부 흐름을 적용함: NF의 입력은 2층의 MLP에서 생성된 상태 임베딩이며, 이는 정책이 각 상태에 맞게 복잡한 행동 분포를 적응적으로 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 정규화 흐름 정책이 KL 발산 제약의 제약 효과를 줄임으로써 신뢰영역정책최적화에서 탐색 성능을 향상시킬 수 있는가?
• RQ2 복잡한 동역학을 가진 고차원 제어 과제에서 정규화 흐름 정책의 성능이 표준 정규분포 정책보다 어떻게 다른가?
• RQ3 정규화 흐름의 사용이 KL 제약 임계값 ε와 같은 하이퍼파rameter 설정에 대한 강인성을 향상시키는가?
• RQ4 TRPO 및 ACKTR와 결합했을 때 정규화 흐름 정책이 샘플 효율성과 최종 성능을 얼마나 향상시키는가?

주요 결과

• NF 정책은 고차원 MuJoCo 및 Roboschool 과제에서 분리된 정규분포 정책보다 뚜렷이 뛰어나며, 특히 Ant 및 Humanoid 환경에서 점차적 수익이 각각 약 800과 2000에 도달한다.
• HalfCheetah 과제에서 NF 정책은 약 1500의 수익을 달성하지만, 정규분포 정책은 학습에 실패하여 수익이 약 0에 머문다. 이는 복잡한 동역학에서 극명한 성능 격차를 보여준다.
• NF 정책은 하이퍼파rameter 설정, 특히 KL 제약 임계값 ε에 대해 뛰어난 강인성을 보이며, 작은 ε 값에서도 제약이 덜한 샘플링 행동을 유지한다.
• ACKTR 프레임워크에서 NF 정책은 Ant 및 Humanoid와 같은 복잡한 과제에서 정규분포 정책보다 항상 뛰어난 성능을 보이며, Humanoid에서 최대 2000 대 550의 성과 향상을 기록한다.
• 일부 벤치마크에서 NF 정책은 최신 기술 성능을 달성하며, 이는 이전 연구(예: Schulman 등, 2017b; Wu 등, 2017)에서 보고된 결과와 유사하거나 이를 초월한다. 더 적은 학습 스텝 수로도 성능을 달성한다.
• 제거 분석 결과, NF 정책의 성능는 흐름 레이어 수(K ∈ {2,4,6})와 은닉 유닛 크기(l₁ ∈ {3,5,7})의 변화에 대해 강인함을 확인하여 안정적이고 확장 가능한 설계임을 입증한다.