[논문 리뷰] Information Theoretically Aided Reinforcement Learning for Embodied Agents

Guido Montúfar, Keyan Ghazi-Zahedi외 1명|arXiv (Cornell University)|2016. 05. 31.

Reinforcement Learning in Robotics참고 문헌 19인용 수 9

한 줄 요약

이 논문은 복잡한 형태를 가진 몸체적 에이전트를 위한 정책 기반 강화학습에서 기하학적 혼합을 통해 외재적 이동 보상과 결합된 예측 정보—연속적인 센서 독서 간의 상호정보량으로 측정됨—를 내재적 보상으로 사용하여 난이도 높은 최적화 곡면을 부드럽게 하는 방법을 제안한다. 이로 인해 학습의 안정성과 성능이 크게 향상되며, 특히 국소 최적해에 갇히기 쉬운 복잡한 형태에서 뚜렷한 효과를 보인다.

ABSTRACT

Reinforcement learning for embodied agents is a challenging problem. The accumulated reward to be optimized is often a very rugged function, and gradient methods are impaired by many local optimizers. We demonstrate, in an experimental setting, that incorporating an intrinsic reward can smoothen the optimization landscape while preserving the global optimizers of interest. We show that policy gradient optimization for locomotion in a complex morphology is significantly improved when supplementing the extrinsic reward by an intrinsic reward defined in terms of the mutual information of time consecutive sensor readings.

연구 동기 및 목표

• 복잡한 형태를 가진 몸체적 에이전트의 강화학습에서 기하학적 비凸성과 높은 난이도를 가진 보상 곡면 문제를 해결하기 위해.
• 협동적이고 탐색적인 행동을 장려하는 내재적 보상 신호를 도입하여 정책 기반 최적화를 향상시키기 위해.
• 시간적으로 연속된 센서 독서 간의 예측 정보가 확장 가능하고 효과적인 내재적 보상 신호로 기능할 수 있는지 조사하기 위해.
• 내재적 보상과 외재적 보상의 조합이 전역 최적해를 유지하면서 국소 최적해에 갇히는 문제를 줄이는지 증명하기 위해.

제안 방법

• 연속적인 센서 독서 간의 상호정보량 $\operatorname{MI}(S; S')$ 를 사용하여 협동적이고 다양한 센서 동역학을 장려하는 내재적 보상 신호로 활용한다.
• 외재적 이동 보상과 내재적 상호정보량 보상 간의 기하 평균을 통해 조합: $R_{\text{total}} = R_{\text{ext}}^{1-\xi} \cdot R_{\text{MI}}^{\xi}$, 여기서 $\xi \in [0,1]$ 은 트레이드오프를 제어한다.
• 연속적이고 확장 가능한 정책 모델(예: 제한된 볼츠만 기반 정책)을 사용하여 정책 기반 강화학습을 통해 통합 목표를 최적화한다.
• 변분 추론을 이용한 미분 가능 근사치를 사용하여 상호정보량을 추정함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 에이전트의 형태를 더 잘 반영하고 정책의 표현력을 향상시키기 위해 모듈러한 제어 아키텍처를 도입한다.
• 초기에는 상호정보량을 강조하여 탐색을 장려하고, 이후에는 외재적 보상으로 전환하는 커리큘럼 유사 전략을 적용한다.

실험 결과

연구 질문

• RQ1 연속적인 센서 독서 간의 예측 정보가 복잡한 몸체적 시스템에서 정책 기반 학습을 향상시키기 위한 효과적인 내재적 보상으로 기능할 수 있는가?
• RQ2 상호정보량을 외재적 이동 보상과 조합할 경우 최적화 곡면과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 학습 성능을 극대화하기 위해 내재적(예측 정보) 보상과 외재적(이동) 보상 간의 최적 균형은 무엇인가?
• RQ4 상호정보량의 포함이 고차원적이고 복잡한 형태에서 더 강건하고 조율된 이동 행동을 유도하는가?
• RQ5 이 방법은 다양한 형태, 센서 구성, 연결 구조에 대해 일반화 가능한가?

주요 결과

• 보상 목표에 중간 정도의 상호정보량(예: $\xi = 0.75$)을 통합하면 정책 기반 학습의 수렴성과 안정성이 뚜렷이 향상된다.
• 통합 목표는 최적화 곡면을 부드럽게 하여 순수한 외재적 보상 학습에서 흔히 발생하는 국소 최적해에 갇히는 빈도를 감소시킨다.
• 내재적 보상을 사용한 정책는 성능 급락이 덜 심하고 학습 런에 걸쳐 일관된 향상이 나타나는 등 더 높은 강건성을 보였다.
• 높은 이동 성능를 보이는 행동은 항상 높은 상호정보량 값을 보였으며, 이는 조율된 운동이 자연스럽게 높은 예측 정보와 관련이 있음을 시사한다.
• 이 방법은 확장 가능하고 일반화 가능하며, 다양한 설정(다른 센서 해상도, 네트워크 아키텍처, 연결 패턴 등)에서 일관된 성능 향상을 보였다.
• 특히 외재적 보상만을 사용하는 경우에 비해 복잡한 형태에서 뛰어난 성능을 보였으며, 이는 희박하고 난이도 높은 보상 신호로 인해 표준 RL이 어려움을 겪는 환경에서 두드러진다.