[논문 리뷰] Which Mutual-Information Representation Learning Objectives are Sufficient for Control?

Kate Rakelly, Abhishek Gupta외 2명|arXiv (Cornell University)|2021. 06. 14.

Reinforcement Learning in Robotics참고 문헌 67인용 수 8

한 줄 요약

이 논문은 강화학습(RL)에서 상호정보량(MI) 기반 표현 학습 목표 중 어떤 것이 이론적으로 충분한지 분석한다. 두 가지 널리 사용되는 목표인 $ω_{state}$와 $ω_{inv}$는 온화한 MDP 가정 하에서도 표현이 부족할 수 있음을 보여주며, $ω_{fwd}$는 이론적으로 충분함을 증명한다. 시각적 RL 환경에서의 실험 결과는 표현이 부족할 경우 RL 성능이 심각하게 떨어지며, 특히 간섭물이 많은 관측 조건에서 더욱 뚜렷하다.

ABSTRACT

Mutual information maximization provides an appealing formalism for learning representations of data. In the context of reinforcement learning (RL), such representations can accelerate learning by discarding irrelevant and redundant information, while retaining the information necessary for control. Much of the prior work on these methods has addressed the practical difficulties of estimating mutual information from samples of high-dimensional observations, while comparatively less is understood about which mutual information objectives yield representations that are sufficient for RL from a theoretical perspective. In this paper, we formalize the sufficiency of a state representation for learning and representing the optimal policy, and study several popular mutual-information based objectives through this lens. Surprisingly, we find that two of these objectives can yield insufficient representations given mild and common assumptions on the structure of the MDP. We corroborate our theoretical results with empirical experiments on a simulated game environment with visual observations.

연구 동기 및 목표

• 강화학습에서 최적 정책 학습을 위한 표현의 충분성 개념을 공식화하기.
• 마르코프 결정 과정(MDP)에서 일반적인 MI 기반 표현 학습 목표의 이론적 충만성 평가.
• 기본 MDP 가정 하에서도 필수 상태 정보를 포착하지 못하는 목표 식별.
• 시각적 관측과 간섭물이 존재하는 환경에서 딥 RL 에이전트를 활용해 이론적 결과를 실증적으로 검증.
• 효과적인 RL 정책 학습을 지원할 수 있는 새로운 MI 기반 목표 평가 프레임워크 제공.

제안 방법

• 표현의 충만성에 대한 공식 정의 제안: 표현은 어떤 보상 함수에 대해서도 최적의 Q함수를 학습할 수 있어야 한다.
• 세 가지 MI 목표 분석: $ω_{fwd}$ (앞서가는 예측), $ω_{inv}$ (역예측), $ω_{state}$ (상태 예측).
• 정확한 MI 계산을 포함한 설명용 MDP 예제를 사용해, 온화한 가정 하에서 $ω_{state}$와 $ω_{inv}$의 이론적 부족함을 증명.
• 모든 보상 함수에 대해 최적 Q함수를 표현하는 데 $ω_{fwd}$가 충분함을 증명.
• 딥 RL 실험에서 MI 추정을 위해 노이즈 대비 추정(NCE) 기법 사용.
• 시뮬레이션된 게임 환경에서 간섭물이 있는지 여부에 따라 각 목표로 학습된 표현을 기반으로 RL 에이전트 훈련.

실험 결과

연구 질문

• RQ1 일반적인 MDP에서 최적 정책을 학습하는 데 있어 어떤 MI 기반 표현 학습 목표가 이론적으로 충분한가?
• RQ2 일반적으로 사용되는 목표인 $ω_{state}$와 $ω_{inv}$가 간단한 MDP에서도 필수 상태 정보를 포착하지 못할 수 있는가?
• RQ3 표현 목표의 이론적 부족함이 시각 입력을 갖는 딥 RL에서 측정 가능한 성능 저하로 이어지는가?
• RQ4 이론적으로 부족한 목표가 특정 MDP 클래스에서는 충분해지는 경우가 있는가, 특히 현실적이거나 부분 관측 환경에서?
• RQ5 영점 왜곡 솔루션을 달성할 경우, 변분 오토인코더의 ELBO가 RL에 충분한가?

주요 결과

• $ω_{fwd}$ 목표는 현재 상태와 향후 상태 간의 상호정보량을 최대화하는 것으로, 일반적인 MDP 가정 하에서 최적 Q함수를 표현하는 데 이론적으로 충분하다.
• $ω_{state}$와 $ω_{inv}$ 목표는 이론적으로 부족하며, 이러한 정보가 예측 가능하더라도 최적 제어에 필수적인 상태 정보를 포착하지 못할 수 있다.
• 간섭물이 존재하는 시뮬레이션된 시각적 RL 환경에서, $ω_{inv}$로 학습된 표현은 캐쳐 게임에서 과일 객체를 제대로 추적하지 못했으며, 과일 오차는 0.47이었고, $ω_{fwd}$는 0.14로 훨씬 낮았다.
• 캐쳐그립 환경에서 $ω_{state}$는 그립퍼 상태를 제대로 표현하지 못했고, 그립퍼 오차는 0.50이었지만, $ω_{fwd}$는 오차가 0.12에 불과했다.
• 시각적 간섭물이 존재할 경우, 충만한 목표와 부족한 목표 간 성능 격차가 더욱 커지며, 이는 부족한 목표가 불필요한 정보에 혼란스러워지기 쉬운 것을 시사한다.
• 이론적 부족함은 직접적으로 실증 성능 저하와 관련이 있으며, 이는 표현 품질이 시각적 딥 RL에서 핵심적 한계임을 입증한다.