[논문 리뷰] Implicit Policy for Reinforcement Learning

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|2018. 06. 10.

Reinforcement Learning in Robotics참고 문헌 38인용 수 7

한 줄 요약

이 논문은 강화학습을 위한 탄력적인 확률 정책 클래스인 Implicit Policy를 소개한다. 이는 효율적인 엔트로피 정규화된 정책 그래uent 계산을 가능하게 하며, 정규화 흐름과 블랙박스 밀도 추정을 활용해 궤도 수준의 엔트로피 최대화 없이도 강력하고 다중 모달의 행동을 달성한다. 복잡한 제어 과제에서 표준 정책보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce Implicit Policy, a general class of expressive policies that can flexibly represent complex action distributions in reinforcement learning, with efficient algorithms to compute entropy regularized policy gradients. We empirically show that, despite its simplicity in implementation, entropy regularization combined with a rich policy class can attain desirable properties displayed under maximum entropy reinforcement learning framework, such as robustness and multi-modality.

연구 동기 및 목표

• 엔트로피 정규화의 단순성과 최대 엔트로피 RL의 바람직한 성질(예: 강건성, 다중 모달성) 사이의 격차를 해소한다.
• 정책 밀도가 계산이 불가능한 경우에도 엔트로피 정규화된 정책 그래uent의 효율적 계산을 지원하는 일반적이고 표현력 있는 정책 클래스를 개발한다.
• 단일 확률 정책을 통해 복잡하고 다중 모달인 전문가 행동을 효과적으로 모방할 수 있도록 한다.
• 표현력 있는 정책을 사용한 엔트로피 정규화가 최대 엔트로피 RL의 계산 오버헤드 없이도 유사한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 표현력 있는 정책을 표현하기 위한 일반적 프레임워크로 Implicit Policy를 제안하며, 이로부터 두 가지 특정 클래스인 정규화 흐름 정책(Normalizing Flows Policy, NFP)과 비가역 블랙박스 정책(Non-invertible Blackbox Policy, NBP)을 유도한다.
• NFP를 설계하여 상태 정보를 정규화 흐름에 통합함으로써 행동 분포에 대한 탄력적이고 정규화 가능한 밀도 추정을 가능하게 한다.
• NBP를 도입하여 정책 밀도가 분석적으로 제공되지 않는 임의의 정책 아키텍처를 다루며, 스코어 기반 그래uent 추정을 사용한다.
• 경로 기반 및 스코어 함수 그래uent를 활용해 엔트로피 정규화된 정책 업데이트를 위한 효율적 그래uent 추정기를 유도하며, 이는 온폴리시 및 오프폴리시 설정 모두에 적용 가능하다.
• 엔트로피 정규화가 최대 엔트로피 목표의 하한을 최적화함을 보여주며, 이는 궤도 수준의 엔트로피 최대화를 대체로 사용할 수 있음을 정당화한다.
• NBP는 GAN 기반의 모방 학습을 통해, NFP는 최대 우도 행동 클로닝을 통해 훈련함으로써 전문가의 지침에서 다중 모달 정책 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정책 밀도가 궤도 수준 엔트로피 최대화를 직접 최적화하지 않더라도, 표현력 있는 정책을 사용한 엔트로피 정규화가 최대 엔트로피 RL에서 일반적으로 기대되는 강건성과 다중 모달성을 달성할 수 있는가?
• RQ2 복잡한 신경망 정책에서 정책 밀도가 계산이 불가능하거나 비가역적인 경우, 정책 그래uent는 어떻게 효율적으로 계산할 수 있는가?
• RQ3 단일 은닉 정책이 로봇의 전진 및 후진 수영 행동과 같은 여러 개별 행동 모드를 효과적으로 학습하고 표현할 수 있는가?
• RQ4 제안된 방법이 다중 모달 제어 과제에서 표준 가우시안 정책보다 뛰어난 성능을 보이며, 동시에 훈련 효율성을 유지하는가?

주요 결과

• 엔트로피 정규화를 적용한 Implicit Policy는 HalfCheetah와 Hopper와 같은 표준 벤치마크 환경에서 최대 엔트로피 RL과 경쟁 가능한 성능을 달성한다.
• NBP 에이전트는 더블웰 문제에서 이중 모달 전문가 정책을 성공적으로 모방하여, 다양한 상태에서 두 가지 행동 모드를 모두 포착한다.
• 훈련된 NBP 및 NFP 에이전트가 생성한 궤도는 스위밍 환경에서 전문가의 궤도와 밀도적으로 유사하며, 전진 및 후진 수영 모드의 융합을 보여준다.
• 절단 실험 결과, NBP의 초기 분산 파라미터 ρ에 대한 성능 민감도가 확인되었으며, ρ ∈ {−4.0, −5.0, −6.0}일 때 최고의 성능을 기록했다.
• NFP의 경우, 층 수 K와 유닛 수 k를 늘일수록 표현력은 향상되지만 성능 향상은 일관되게 나타나지 않아 하이퍼파ram터 선택에 대해 강건함을 보였다.
• 양의 엔트로피 계수 β > 0은 다중 모달 학습에 유의미하게 기여하며, β = 0.0일 경우 다중 모달 과제에서도 단일 모달 정책으로 수렴한다.