[논문 리뷰] Learning to Score Behaviors for Guided Policy Optimization

Aldo Pacchiano, Jack Parker-Holder외 4명|arXiv (Cornell University)|2019. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 4

한 줄 요약

이 논문은 학습된 행동 임bedding 공간에서 워셔스타인 거리(Wasserstein distance)를 사용하여 정책 유사도를 평가하고 원하는 행동으로 정책을 이끌어내는 새로운 프레임워크를 제안한다. 엔트로피 정규화된 워셔스타인 거리의 이중 표현을 활용함으로써, 행동 정규화를 통해 효율적인 확률적 경사 하강 업데이트를 가능하게 하여, 두 가지 새로운 온정책 알고리즘—행동 유도 정책 그래디언트(Behavior-Guided Policy Gradient)와 행동 유도 진화 전략(Behavior-Guided Evolution Strategies)—을 도출한다. 이는 어려운 연속 제어 환경과 오염된 보상 환경에서 기존 방법들을 능가한다.

ABSTRACT

We introduce a new approach for comparing reinforcement learning policies, using Wasserstein distances (WDs) in a newly defined latent behavioral space. We show that by utilizing the dual formulation of the WD, we can learn score functions over policy behaviors that can in turn be used to lead policy optimization towards (or away from) (un)desired behaviors. Combined with smoothed WDs, the dual formulation allows us to devise efficient algorithms that take stochastic gradient descent steps through WD regularizers. We incorporate these regularizers into two novel on-policy algorithms, Behavior-Guided Policy Gradient and Behavior-Guided Evolution Strategies, which we demonstrate can outperform existing methods in a variety of challenging environments. We also provide an open source demo.

연구 동기 및 목표

• 강화학습에서 국소적 행동 유사도를 넘어서 정책 유사도를 효과적으로 측정하고 활용하는 데 도전한다.
• 매개변수나 상태 방문 빈도 수준이 아닌 전반적인 행동 궤적 기반으로 정책을 비교할 수 있는 탄력적이고 미분 가능한 방법을 개발한다.
• 잠재 행동 공간에서의 워셔스타인 거리를 사용하고 확률적 경사 하강 업데이트를 통해 효율적인 정책 최적화를 가능하게 한다.
• 학습된 테스트 함수를 통한 행동 반발 및 유인 신호를 통합하여 탐색과 일반화 능력을 향상시킨다.
• 오염된 보상과 희박한 보상 환경을 포함한 도전적인 환경에서 이 방법의 효과성을 입증한다.

제안 방법

• 논문은 궤적을 압축된 잠재 행동 공간으로 매핑하는 행동 정책 임베딩(Behavioral Policy Embeddings, BPEs)을 도입하며, 이를 위해 행동 임베딩 맵(Behavioral Embedding Map, BEM)을 사용하여 임베딩 분포 간의 정책 비교를 가능하게 한다.
• 이러한 임베딩 분포 간의 워셔스타인 거리(Weighted Distance, WD)를 정책 비유사도 측정치로 정의함으로써, 비단사상적 BEM을 허용하고, KL 발산과 같은 가능도 기반 발산의 문제를 피한다.
• 워셔스타인 거리의 이중 표현을 활용하여, 궤적 또는 상태-정책 쌍을 평가하는 행동 테스트 함수를 유도하며, 이를 통해 특정 행동으로의 최적화를 이끌어낸다.
• 워셔스타인 거리의 엔트로피 정규화를 통해, 무작위 특징 매핑을 사용한 Reproducing Kernel Hilbert Space (RKHS) 표현을 통해 효율적인 확률적 경사 하강 업데이트를 가능하게 한다.
• 두 가지 새로운 온정책 알고리즘을 제안한다: 행동 유도 정책 그래디언트(Behavior-Guided Policy Gradient, BGPG)는 KL 신뢰 영역 대신 WD 기반 정규화를 사용하며, 행동 유도 진화 전략(Behavior-Guided Evolution Strategies, BGES)은 보상과 행동의 새로운 정도를 동시에 최적화한다.
• 이 방법은 온정책 및 오프정책 임베딩 모두를 지원하며, 오프정책 변형은 정책을 독립적으로 평가하기 위해 探색 상태 분포를 사용한다.

실험 결과

연구 질문

• RQ1 학습된 행동 임베딩 공간에서의 워셔스타인 기반 측정치가 기존 방법(예: KL 발산)보다 더 효과적이고 해석 가능한 정책 유사도 측정을 제공할 수 있는가?
• RQ2 워셔스타인 거리의 이중 표현을 어떻게 활용하여 정책 최적화를 이끄는 의미 있는 행동 테스트 함수를 생성할 수 있는가?
• RQ3 WD 기반 정규화가 KL 기반 신뢰 영역 방법에 비해 더 빠르고 샘플 효율적인 정책 최적화를 가능하게 할 수 있는가?
• RQ4 제안된 프레임워크는 오염된 보상 환경에서 행동 반발을 통해 비최적 정책을 피하는 방식으로 탐색을 향상시킬 수 있는가?
• RQ5 이와 같은 프레임워크는 행동 평가를 통해 애자일러닝 및 안전 제약이 있는 강화학습에 어떻게 적용될 수 있는가?

주요 결과

• BGPG는 딥마인드 컨트롤 서킷 및 로보스쿨의 6개의 연속 제어 작업에서 기존의 KL 발산 기반 TRPO를 능가하며, 일관된 성능 향상을 보였다.
• BGPG는 장애물이 있는 환경에서 Zhang 등이 제안한 기준 방법 대비 최대 3.5배 더 빠르게 최적 성능에 도달했으며, Hopper 및 워커 작업에서 시계 시간을 약 26,000초에서 약 4,000초로 감소시켰다.
• 오염된 보상 환경에서는 BGES가 장벽을 넘어서 목표지점으로 이동하는 것을 성공했고, NSR-ES 및 NoisyNet-TRPO는 비최적 국소 보상으로 인해 전진 이동을 학습하지 못했다.
• 4족 보행 환경에서는 BGES가 -5000를 초과하는 보상을 기록하여 벽을 둘러서 성공적으로 이동한 것으로 나타났고, 기준 방법들은 국소 최적점에 갇혀 있었다.
• 점 질량 환경에서는 BGES가 -800 이상의 보상을 기록하여 오염된 보상 환경에서도 효과적인 탐색과 목표 도달이 가능했음을 보여주었다.
• 이 방법은 애자일러닝 및 반발 학습으로 일반화되며, 행동 테스트 함수를 통해 특정 행동으로 정책을 이끌거나 회피하는 데 사용될 수 있음을 보여주었다.