[논문 리뷰] Hyperbolic Deep Reinforcement Learning

Edoardo Cetin, Benjamin Chamberlain외 2명|arXiv (Cornell University)|2022. 10. 04.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 순차적 의사결정에서 계층적 구조를 더 잘 포착하기 위해 잠재 표현을 유클리드 공간이 아닌 쌍곡 공간에서 모델링하는 새로운 딥 강화학습 프레임워크를 제안한다. 스펙트럴 정규화된 쌍곡 사상(S-RYM)을 설계함으로써 학습을 안정화하고 엔드 투 엔드 학습을 가능하게 하여, 유클리드 기반 모델 대비 Procgen 및 Atari 100K 벤치마크에서 거의 보편적인 성능 향상과 일반화 성능 향상을 달성한다.

ABSTRACT

We propose a new class of deep reinforcement learning (RL) algorithms that model latent representations in hyperbolic space. Sequential decision-making requires reasoning about the possible future consequences of current behavior. Consequently, capturing the relationship between key evolving features for a given task is conducive to recovering effective policies. To this end, hyperbolic geometry provides deep RL models with a natural basis to precisely encode this inherently hierarchical information. However, applying existing methodologies from the hyperbolic deep learning literature leads to fatal optimization instabilities due to the non-stationarity and variance characterizing RL gradient estimators. Hence, we design a new general method that counteracts such optimization challenges and enables stable end-to-end learning with deep hyperbolic representations. We empirically validate our framework by applying it to popular on-policy and off-policy RL algorithms on the Procgen and Atari 100K benchmarks, attaining near universal performance and generalization benefits. Given its natural fit, we hope future RL research will consider hyperbolic representations as a standard tool.

연구 동기 및 목표

• 현재의 딥 강화학습 모델이 적절한 인덕티브 바이어스가 부족하여 일반화 가능한 계층적 특징을 학습하는 데에 한계가 있다는 문제를 해결하기 위해.
• 강화학습 기반의 비정상적이고 고분산된 강화학습 기울기로 인해 발생하는 쌍곡 강화학습의 최적화 불안정성을 극복하기 위해.
• 쌍곡 잠재 표현을 갖는 딥 강화학습 에이전트의 안정적이고 엔드 투 엔드 학습을 가능하게 하기 위해.
• 쌍곡 기하학이 다양한 강화학습 벤치마크에서 정책의 일반화와 성능 향상에 기여하는지 검증하기 위해.
• 미래의 강화학습 연구를 위한 표준 인덕티브 바이어스로 쌍곡 표현을 정착시키기 위해.

제안 방법

• 스펙트럴 정규화와 스케일링을 조합한 스펙트럴 정규화된 쌍곡 사상(S-RYM)을 제안하여 쌍곡 표현의 안정성을 향상시킨다.
• 기존 프레임워크와의 원활한 통합을 위해 S-RYM을 온정책(PPO) 및 오프정책(DQN, SAC) 강화학습 알고리즘에 적용한다.
• 상태 표현 내 계층적 관계를 모델링하기 위해 쌍곡 기하학을 활용하며, 나무 구조의 효율적 인코딩을 위해 체적 증가의 지수적 성질을 활용한다.
• 학습된 표현의 계층적 구조를 정량화하고 성능과의 상관관계를 분석하기 위해 δ-쌍곡성을 측정 지표로 사용한다.
• 기존 강화학습 구성 요소와의 통합을 위해 아키텍처의 대대적인 수정 없이 프레임워크를 통합함으로써 표준 학습 파이프라인과의 호환성을 확보한다.
• 표준 평가 프rotocol과 아블레이션 스터디를 사용하여 Procgen 및 Atari 100K 벤치마크에서 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 쌍곡 기하학이 계층적 상태 관계를 더 잘 인코딩함으로써 딥 강화학습에 효과적인 인덕티브 바이어스로 기능할 수 있는가?
• RQ2 강화학습 기울기의 고분산성과 비정상성으로 인해, 쌍곡 표현을 엔드 투 엔드로 안정적으로 학습시킬 수 있는가?
• RQ3 쌍곡 기하학을 통합할 경우 다양한 강화학습 환경에서 일반화 및 성능 향상이 이루어지는가?
• RQ4 δ-쌍곡성으로 측정된 학습된 표현의 계층적 구조는 강화학습 성능와 어떻게 상관관계가 있는가?
• RQ5 쌍곡 표현 프레임워크는 Phasic Policy Gradient(PPG) 및 데이터 증강과 같은 기타 최첨단 강화학습 기법과 호환되는가?

주요 결과

• 제안된 쌍곡 강화학습 프레임워크는 유클리드 기반 모델 대비 Procgen 및 Atari 100K 벤치마크에서 거의 보편적인 성능 향상을 달성한다.
• 성능 향상은 잠재 표현 공간의 δ-쌍곡성 증가와 강하게 상관관계가 있으며, 계층적 인덕티브 바이어스의 중요성을 검증한다.
• 쌍곡 표현은 학습 데이터에 대한 과적합을 줄이며, 특히 bigfish 및 dodgeball와 같은 미사용 환경에서의 테스트 성능 향상에 기여한다.
• Phasic Policy Gradient(PPG)와 같은 고급 기법과 조합해도 일관된 이점을 유지함으로써, 상호 보완적 호환성과 일반화 성능 향상을 입증한다.
• 랜덤 이동을 통한 데이터 증강은 일부 환경에서 성능을 저하시키지만, 쌍곡 프레임워크는 여전히 유클리드 대비 우수한 성능을 보이며, 강건성과 일반적 우수성을 입증한다.
• 추가 컴퓨팅 비용 없이도 안정적인 학습을 가능하게 하여, 향후 강화학습에서 효율적이고 컴팩트한 표현 학습의 잠재력을 시사한다.