[논문 리뷰] Exploiting Hierarchy for Learning and Transfer in KL-regularized RL

Dhruva Tirumala, Hyeonwoo Noh외 7명|arXiv (Cornell University)|2019. 03. 18.

Reinforcement Learning in Robotics참고 문헌 61인용 수 20

한 줄 요약

이 논문은 정책과 기본 행동 양측에 잠재 변수를 도입하여 구조적인 인덕티브 바이어스와 모듈러한 전이 학습을 가능하게 하는 계층적 KL-정규화 강화 학습 프레임워크를 제안한다. 계층적 구조를 활용함으로써, 비계층적 기준 대비 연속 제어 과제에서 더 빠른 학습과 향상된 전이 성능를 달성한다.

ABSTRACT

As reinforcement learning agents are tasked with solving more challenging and diverse tasks, the ability to incorporate prior knowledge into the learning system and to exploit reusable structure in solution space is likely to become increasingly important. The KL-regularized expected reward objective constitutes one possible tool to this end. It introduces an additional component, a default or prior behavior, which can be learned alongside the policy and as such partially transforms the reinforcement learning problem into one of behavior modelling. In this work we consider the implications of this framework in cases where both the policy and default behavior are augmented with latent variables. We discuss how the resulting hierarchical structures can be used to implement different inductive biases and how their modularity can benefit transfer. Empirically we find that they can lead to faster learning and transfer on a range of continuous control tasks.

연구 동기 및 목표

• 구조적인 인덕티브 바이어스를 통합하여 복잡한 강화 학습 과제에서 샘플 효율성과 전이 성능의 도전 과제를 해결하고자 한다.
• 정책과 기본 행동을 계층적으로 구성함으로써 저수준 스킬이나 고수준 목표와 같은 행동의 모듈러한 전이를 가능하게 하고자 한다.
• 정책과 기본 행동 양쪽에 잠재 변수를 도입함으로써 기존 KL-정규화 강화 학습 연구를 일반화하고 더 rich한 인덕티브 바이어스를 가능하게 하고자 한다.
• 연속 제어 및 격자 세계 환경에서 계층적 구조가 학습 속도와 전이 성능를 향상시키는지 실증적으로 검증하고자 한다.

제안 방법

• 정책과 기본 행동 양측에 잠재 변수를 도입하여 계층적 구조를 형성함으로써 모듈러하고 구조적인 인덕티브 바이어스를 가능하게 한다.
• 정책이 학습된 기본 행동에 가까이 있도록 유도하는 KL-정규화 목표를 사용하며, 기본 행동 자체도 계층적 모델이다.
• 이중 수준 아키텍처를 사용한다: 고수준 정책(HL)은 잠재 변수를 기반으로 작동하고, 저수준 정책(LL)은 행동을 생성하며, HL이 잠재 코드를 통해 LL를 제어한다.
• 기본 정책에서 상태 정보 접근을 제한함으로써 정보 비대칭을 도입하여 특정 행동 성분의 선택적 일반화와 전이를 가능하게 한다.
• 계층적 모델을 훈련하기 위한 효율적인 오프-폴리시 알고리즘을 개발하며, 확률적 모델링과 사후 엔트로피 정규화를 활용한다.
• 사후 엔트로피 비용 하이퍼파rameter α를 사용하여 탐색과 KL 정규화 사이의 균형을 조절함으로써 안정성과 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 KL-정규화 강화 학습에서 계층적 구조는 연속 제어 과제에서 샘플 효율성과 전이 학습을 어떻게 향상시키는가?
• RQ2 정책과 기본 행동 양측에 존재하는 잠재 변수는 더 유연하고 구조적인 인덕티브 바이어스를 어떻게 가능하게 하는가?
• RQ3 기본 정책에서의 정보 비대칭은 특정 행동 성분의 일반화와 전이에 어떻게 영향을 미치는가?
• RQ4 학습 속도와 전이 성능 측면에서 계층적 모델링은 비계층적 기준 대비 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 다양한 연속 제어 과제에서 비계층적 기준 대비 계층적 프레임워크가 더 빠른 학습과 향상된 전이 성능를 달성하였다.
• 정책과 기본 행동 양측에 잠재 변수를 사용함으로써 더 효과적이고 모듈러한 전이가 가능했으며, 특히 스킬 재사용이 필요한 과제에서 두드러졌다.
• 기본 정책에서의 정보 비대칭은 고수준 목표의 선택적 일반화를 가능하게 하였고, 동시에 저수준 스킬의 구조를 유지하였다.
• 통계적 효율성이 향상되어 수렴하기 위해 필요한 환경 상호작용 횟수가 감소하였다.
• Ant, Ball 및 격자 세계 과제에서의 실증 결과는 샘플 효율성과 전이 정확도에서 일관된 성과 향상을 보였다.
• 하이퍼파ram터 튜닝 결과, 사후 엔트로피 비용 α가 탐색과 정규화 사이의 균형을 조절하는 데 핵심적인 역할을 하였으며, 최적의 값은 과제에 따라 달라졌다.