[논문 리뷰] EMI: Exploration with Mutual Information

Hyoungseok Kim, Jaekyeom Kim외 3명|arXiv (Cornell University)|2018. 10. 02.

Music and Audio Processing인용 수 33

한 줄 요약

EMI는 고차원 관측치의 생성적 디코딩 없이 상호정보량 추정을 통해 압축되고 예측 가능한 상태 및 행동 표현을 학습하는 강화학습에서의 새로운 탐색 방법을 제안한다. 임베딩 공간에서 선형 동역학을 모델링하여 EMI는 희박 보상 로봇 운동 및 아케이드 게임에서 최신 기술 수준의 성능을 달성하며, ICM, RND, EX2와 같은 방법들을 능가한다.

ABSTRACT

Reinforcement learning algorithms struggle when the reward signal is very sparse. In these cases, naive random exploration methods essentially rely on a random walk to stumble onto a rewarding state. Recent works utilize intrinsic motivation to guide the exploration via generative models, predictive forward models, or discriminative modeling of novelty. We propose EMI, which is an exploration method that constructs embedding representation of states and actions that does not rely on generative decoding of the full observation but extracts predictive signals that can be used to guide exploration based on forward prediction in the representation space. Our experiments show competitive results on challenging locomotion tasks with continuous control and on image-based exploration tasks with discrete actions on Atari. The source code is available at https://github.com/snu-mllab/EMI .

연구 동기 및 목표

• 랜덤 탐색이 보상 상태를 발견하지 못하는 희박 보상 강화학습 문제를 해결하기 위해.
• 고차원 관측치의 직접적 생성을 피하여 계산 부담을 줄이는 탐색 방법을 개발하기 위해.
• 효과적인 전방 예측과 낯선 상태 탐지에 기여하는 압축되고 예측 가능한 상태 및 행동 표현을 학습하기 위해.
• 희박 보상 환경에서 연속 제어 및 이미지 기반 환경 모두에서 견고한 탐색을 가능하게 하기 위해.
• Montezuma's Revenge 및 SparseHalfCheetah와 같은 도전적인 RL 벤치마크에서 샘플 효율성과 최종 성능을 향상시키기 위해.

제안 방법

• EMI는 상호정보량의 변분 발산 추정을 통해 상태 및 행동 임베딩을 학습하며, 전체 관측치의 생성적 디코딩을 피한다.
• 현재 상태 및 행동 임베딩가 주어진 상황에서 행동 및 다음 상태 표현의 최소 불확실성을 강제한다.
• 임베딩 공간에 선형 동역학 모델을 도입하여 예측 가능한 전이를 캡처하고, 예측 오차를 놀라움 신호로 측정한다.
• 학습 안정성 향상과 표현 품질 향상을 위해 행동 임베딩 분포에 정규화 항을 통합한다.
• 전방 예측 오차와 임베딩 공간 내 다양성의 조합으로 탐색을 이끌어내어 낯선 상태로의 방문을 촉진한다.
• 목표 함수에는 표현 품질과 예측 정확성의 균형을 맞추기 위한 정보 이득 항과 모델 오차 항이 포함되어 있다.

실험 결과

연구 질문

• RQ1 압축된 표현 공간에서의 상호정보량 최대화가 고차원 관측치의 생성 모델링 없이 효과적인 탐색을 가능하게 할 수 있는가?
• RQ2 임베딩 공간에 선형 동역학을 도입함으로써 희박 보상 환경에서 탐색 성능이 어떻게 향상되는가?
• RQ3 행동 또는 상태 임베딩 분포에 대한 정규화가 표현 품질과 학습 안정성에 미치는 영향은 무엇인가?
• RQ4 이미지 기반 및 연속 제어 작업에서 최신 기술 수준의 내재 동기화 방법인 ICM, RND, EX2와 비교해 EMI는 어떻게 성능을 내는가?
• RQ5 학습된 임베딩 공간이 이산적 및 연속적 행동을 효과적으로 지원할 수 있으며, 예측 유용성도 유지할 수 있는가?

주요 결과

• Montezuma's Revenge에서 EMI는 평균 인간 정규화 점수 387을 기록하여 EX2(0), ICM(161), RND(377), VIME(0)를 능가하며, 희박 보상 환경에서 뛰어난 탐색 능력을 입증했다.
• SparseHalfCheetah에서 EMI는 1억 타임스텝 시점에 평균 수익 218.1을 달성하여 ICM(1.4), RND(3.4), EX2(153.7)를 크게 앞서며 성능을 뛰어올랐다.
• 절단 실험 결과 정보 이득 항을 제거하면 임베딩 공간이 붕괴되었으며, 모델 오차 항을 추가함으로써 성능이 극적으로 향상되어 안정성 확보에 중요한 역할을 함을 입증했다.
• 행동 임베딩 분포에 대한 정규화는 표현 품질 향상에 기여했지만, 상태 임베딩에 정규화를 적용할 경우 비균일한 상태 방문으로 인해 비대칭적이고 열악한 표현이 되었다.
• BoxImage 환경에서 EMI는 에이전트의 위치와 행동을 정확하게 반영하는 2차원 임베딩 공간을 성공적으로 학습하여 효과적인 분리 및 공간 인식 능력을 입증했다.
• 로봇 운동 및 아케이드 게임을 포함한 다양한 작업에서 EMI는 일관된 성능 향상을 보이며, 연속 및 이산 행동 공간 모두에 걸쳐 일반화 능력이 뛰어나다는 것을 확인했다.