[논문 리뷰] A Unified Bellman Optimality Principle Combining Reward Maximization and Empowerment

Felix Leibfried, Sergio Pascual-Díaz외 1명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 강화학습에서 내재적 에너지 확보( empowerment )와 외재적 보상 최적화를 통합하는 통합 벨만 최적성 원칙을 제안한다. 정보 이론적 제어를 표준가치 기반 학습과 융합함으로써, 이 방법은 오프-폴리시 액터-크리틱 알고리즘을 통해 연속 제어 과제(MuJoCo)에서 초기 성능과 최종 성능을 모두 향상시킨다. 밀도 높은 보상 형상화 없이도 최신의 모델리스 방법을 능가한다.

ABSTRACT

Empowerment is an information-theoretic method that can be used to intrinsically motivate learning agents. It attempts to maximize an agent's control over the environment by encouraging visiting states with a large number of reachable next states. Empowered learning has been shown to lead to complex behaviors, without requiring an explicit reward signal. In this paper, we investigate the use of empowerment in the presence of an extrinsic reward signal. We hypothesize that empowerment can guide reinforcement learning (RL) agents to find good early behavioral solutions by encouraging highly empowered states. We propose a unified Bellman optimality principle for empowered reward maximization. Our empowered reward maximization approach generalizes both Bellman’s optimality principle as well as recent information-theoretical extensions to it. We prove uniqueness of the empowered values and show convergence to the optimal solution. We then apply this idea to develop off-policy actor-critic RL algorithms which we validate in high-dimensional continuous robotics domains (MuJoCo). Our methods demonstrate improved initial and competitive final performance compared to model-free state-of-the-art techniques.

연구 동기 및 목표

• 외재적 보상의 희박성 또는 지연성 문제를 해결하기 위해 내재적 에너지 확보를 지도 신호로 통합함으로써 탐색을 유도한다.
• 고전적 벨만 최적성과 에너지 확보와 같은 정보 이론적 확장의 일반화를 가능하게 하는 통합 이론적 프레임워크를 개발한다.
• 오프-폴리시 딥 강화학습 에이전트가 에너지 확보 가치 함수를 사용하여 훈련 초반에 효과적인 행동을 발견할 수 있도록 한다.
• 에너지 확보 가치 함수의 유일성을 증명하고, 제안된 원칙 하에 최적 정책 수렴성을 확립한다.
• 고차원 연속 제어 환경에서 방법을 검증하여 샘플 효율성과 최종 성능 향상을 입증한다.

제안 방법

• 외재적 보상의 기대 수익과 상태-행동 전이 분포의 엔트로피(에너지 확보를 나타냄)를 결합한 통합 벨만 최적성 방정식을 제안한다.
• 즉각적인 보상과 향후 제어 능력(다음 상태로 도달 가능한 상태 수)을 동시에 최대화하는 가치 함수를 도입한다.
• 고전적 Q-학습의 구조를 유지하면서도 정보 이론적 항을 통합한 일반화된 벨만 업데이트를 유도한다.
• 비평가가 통합 가치 함수를 추정하고, 작가가 통합 목표의 기울기 기반으로 업데이트되는 오프-폴리시 액터-크리틱 알고리즘을 활용한다.
• 고차원 연속 행동 공간에서 전이 엔트로피를 근사하기 위해 변분 추론을 사용하여 확장 가능한 계산을 가능하게 한다.
• 훈련 중 보상 최적화와 에너지 확보 목표 간 균형을 맞추기 위해 이중 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 에너지 확보는 외재적 보상이 존재하는 상황에서 탐색을 유도하고 초기 학습을 향상시키는 의미 있는 내재 신호로 기능할 수 있는가?
• RQ2 벨만 최적성 원칙은 어떻게 공식적으로 보상 최적화와 에너지 확보를 통합하는 이원적 프레임워크에 확장될 수 있는가?
• RQ3 제안된 통합 원칙은 연속 제어 과제의 맥락에서 고유하고 수렴 가능한 해를 제공하는가?
• RQ4 에너지 확보를 외재적 보상과 결합함으로써 샘플 효율성과 최종 성능이 얼마나 향상되는가?
• RQ5 오프-폴리시 액터-크리틱 알고리즘이 통합 가치 함수를 효과적이고 안정적으로 활용할 수 있는가?

주요 결과

• 제안된 통합 벨만 최적성 원칙은 에너지 확보 가치 함수의 유일성을 보장하고 최적 정책 수렴을 보장한다.
• 최신의 모델리스 강화학습 알고리즘과 비교해 초기 학습 성능이 향상되었으며, 특히 보상이 희박한 환경에서 두드러진다.
• MuJoCo 연속 제어 벤치마크에서, 에너지 확보 보상 최적화 접근법은 초기 훈련 단계와 최종 성능 지표에서 베이스라인 방법을 모두 능가한다.
• 에너지 확보 통합은 더 견고한 탐색을 가능하게 하여, 밀도 높은 보상 형상화에 의존하지 않고도 복잡한 행동을 발견할 수 있게 한다.
• 오프-폴리시 액터-크리틱 구현은 안정적인 훈련 동역학과 장거리 환경에서 효과적인 신용 할당을 보였다.
• 실험 결과는 통합 원칙을 사용해 훈련된 에이전트가 더 높은 상태-행동 엔트로피를 보이며, 제어 능력과 탐색 효율성이 높아졌음을 시사한다.