[논문 리뷰] Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning

Xingyu Lu, Kimin Lee외 2명|arXiv (Cornell University)|2020. 08. 03.

Reinforcement Learning in Robotics참고 문헌 21인용 수 17

한 줄 요약

이 논문은 깊이 강화 학습에서 일반화를 향상시키기 위해 냉각된 확률적 인코딩을 통한 정보 버블 레귤러라이제이션 방법을 제안한다. 관측치와 내부 표현 간의 정보 흐름을 제약함으로써, 이 방법은 훈련 분포를 기준으로 10 표준편차 이상 떨어진 테스트 동역학에 대해 에이전트가 일반화할 수 있게 한다. 미로 탐색 및 로봇 제어 과제에서 기존 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Despite the significant progress of deep reinforcement learning (RL) in solving sequential decision making problems, RL agents often overfit to training environments and struggle to adapt to new, unseen environments. This prevents robust applications of RL in real world situations, where system dynamics may deviate wildly from the training settings. In this work, our primary contribution is to propose an information theoretic regularization objective and an annealing-based optimization method to achieve better generalization ability in RL agents. We demonstrate the extreme generalization benefits of our approach in different domains ranging from maze navigation to robotic tasks; for the first time, we show that agents can generalize to test parameters more than 10 standard deviations away from the training parameter distribution. This work provides a principled way to improve generalization in RL by gradually removing information that is redundant for task-solving; it opens doors for the systematic study of generalization from training to extremely different testing settings, focusing on the established connections between information theory and machine learning.

연구 동기 및 목표

• 훈련된 환경 동역학 외부의 새로운 환경 동역학에 직면했을 때 깊이 강화 학습에서 일반화 부족이라는 핵심 과제를 해결하기 위해.
• 상태 표현에 대한 정보 버블을 강제하여 DRL 에이전트가 훈련 환경 관측치를 암기하지 않도록 하기 위해.
• 인코더와 정책 간 분리 원칙이 성립하지 않을 경우에도 훈련을 안정화하는 공동 최적화 기법을 개발하기 위해.
• 엔드 투 엔드 강화 학습 정책에서 학습된 표현의 해석 가능성과 의미 일관성을 향상시키기 위해.
• 다이나믹한 변화가 존재하는 실제 환경에서의 안정적인 시뮬레이션에서 실제 환경으로의 전이 및 구현을 가능하게 하기 위해.

제안 방법

• 관측치와 내부 표현 사이에 정보 버블을 도입한 확률적 인코더를 도입하여 부과적인 정보 흐름을 제한하기 위해.
• 관측치와 표현 간 상호정보량 제약을 포함한 정규화된 강화 학습 목표함수를 제안하며, 이는 하이퍼파rameter β로 매개변수화된다.
• 정보를 점진적으로 압축할 수 있도록 β를 점차 증가시키는 냉각 스케줄을 구현하여 인코더와 정책의 공동 최적화를 안정화시키기 위해.
• 변분 추론 접근법을 사용해 상호정보량 제약을 근사함으로써, 미분 가능한 훈련을 가능하게 하기 위해.
• SAC 및 PPO와 같은 표준 DRL 아키텍처에 적용하여 다양한 환경 간 일반화 가능성을 확보하기 위해.
• 에이전트의 확률성을 줄여 테스트 시기 동안의 표현을 외곽치로부터 방지하기 위해, 인코더의 확률성을 감소시키는 전략을 도입하기 위해.

실험 결과

연구 질문

• RQ1 표준 레귤러라이제이션 기법을 초월해 정보 버블 메커니즘이 깊이 강화 학습에서 일반화를 향상시킬 수 있는가?
• RQ2 냉각을 통한 점진적 정보 압축은 분리 원칙이 적용되지 않는 비분리 강화 학습 설정에서 인코더와 정책의 공동 최적화에 어떤 영향을 미치는가?
• RQ3 정보 버블을 통해 훈련 분포에서 10 표준편차 이상 떨어진 환경 동역학에 대해 얼마나 일반화할 수 있는가?
• RQ4 학습된 표현 공간이 최적의 크리틱 값과의 일관성 등 의미론적 구조를 유지하는가?
• RQ5 이 방법은 실제 환경 적용 시나리오에서 시뮬레이션에서 실제 환경으로의 전이 및 내구성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 β = 8e-3일 때 기준선 대비 평균 테스트 보상에서 30% 높은 성능을 기록하여 뚜렷한 일반화 향상을 입증했다.
• SAC를 사용해 훈련된 정책는 CartPole에서 훈련 분포보다 10배 이상 큰 테스트 파rameter에 대해 일반화했으며, 기준선을 완전히 뛰어넘었다.
• 이 방법은 최적의 크리틱 값과 일치하는 거리 구조를 유지하는 표현을 생성하여 의미론적 해석 가능성과 계획 공간 일관성을 나타냈다.
• 냉각 스케줄 덕분에 분리 원칙이 적용되지 않는 경우에도 안정적인 공동 최적화가 가능했으며, 인코더-정책 의존성의 '닭과 계란' 문제를 피할 수 있었다.
• 미로 탐색 및 로봇 제어 과제에서 L2 레귤러라이제이션과 드롭아웃보다 뚜렷이 뛰어난 일반화 성능를 보였다.
• 시각화 결과 인코더가 확률적 관측치를 의미 있는, 구조화된 잠재 공간으로 매핑함으로써 정책의 내구성과 해석 가능성을 향상시켰다.