[논문 리뷰] Unsupervised State Representation Learning in Atari

Ankesh Anand, Evan Racah외 4명|arXiv (Cornell University)|2019. 06. 19.

Reinforcement Learning in Robotics참고 문헌 78인용 수 27

한 줄 요약

이 논문은 Atari 2600 관찰에서 공간적 및 시간적 특징 간 상호정보를 최대화하는 자기지도 학습 표현 학습 방법인 Spatiotemporal DeepInfomax (ST-DIM)을 제안한다. 이 방법은 이전의 대비 기반 및 생성 기반 방법들보다 더 잘 분리된 고수준 상태 요인—특히 작은 물체와 낮은 엔트로피 특징—을 포착하는 데 성공했으며, ALE 소스 코드 분석을 통해 추출한 참값 상태 변수를 갖는 새로운 벤치마크에서 평가되었다.

ABSTRACT

State representation learning, or the ability to capture latent generative factors of an environment, is crucial for building intelligent agents that can perform a wide variety of tasks. Learning such representations without supervision from rewards is a challenging open problem. We introduce a method that learns state representations by maximizing mutual information across spatially and temporally distinct features of a neural encoder of the observations. We also introduce a new benchmark based on Atari 2600 games where we evaluate representations based on how well they capture the ground truth state variables. We believe this new framework for evaluating representation learning models will be crucial for future representation learning research. Finally, we compare our technique with other state-of-the-art generative and contrastive representation learning methods. The code associated with this work is available at https://github.com/mila-iqia/atari-representation-learning

연구 동기 및 목표

• 강화학습 환경에서 보상에 대한 감독 없이도 의미 있고 분리된 상태 표현을 학습할 수 있는 자기지도 학습 방법을 개발하는 것.
• 기존 방법들이 픽셀 수준의 재구성에 집중하거나 작은 요소나 낮은 엔트로피 상태 요인을 포착하지 못하는 한계를 해결하는 것.
• Atari 2600 게임의 소스 코드 분석을 통해 추출한 참값 상태 변수를 사용하여 상태 표현 학습 평가를 위한 새로운 벤치마크를 제안하는 것.
• 다양한 생성 요인—예를 들어 물체 위치, 점수, 적 위치—를 얼마나 잘 포착하는지에 대해 다양한 표현 학습 기법을 평가하는 것.
• 공간적 및 시간적 차원을 통해 상호정보를 최대화하는 것이 더 견고하고 의미 있는 표현을 도출한다는 것을 입증하는 것.

제안 방법

• 논문은 Atari 관찰에서 특징을 추출하기 위해 컨볼루션 신경망 인코더를 사용하며, 다양한 공간적 및 시간적 스케일에서 표현을 계산한다.
• 현재 프레임의 글로벌 표현과 미래 프레임의 국소 패치 표현 간의 상호정보를 최대화하기 위해, InfoNCE 손실 기반의 대비 목적 함수를 사용한다.
• 이 방법은 두 가지 목적 함수를 결합한다: 공간 패치 간 국소-국소 상호정보와 전체 프레임와 패치 간 글로벌-국소 상호정보.
• 동일한 관찰에서 유래한 스파atiotemporal 특징(양성 쌍)이 표현 공간에서 음성 쌍보다 더 가까워지도록 하는 대비 학습 목적 함수를 통해 엔드 투 엔드로 모델을 훈련시킨다.
• 핵심 기여는 대비 목적 함수에서 상호정보 추정의 안정성과 정확도를 향상시키기 위해 다수의 음성 샘플을 사용하는 것이다.
• 선형 프로빙을 통해 평가되며, 선형 분류기는 학습된 표현에서 참값 상태 변수를 예측하도록 훈련된다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 차원에서 상호정보를 동시에 최대화하는 것이 기존의 대비 기반 또는 생성 기반 방법보다 더 잘 분리된 상태 표현을 도출할 수 있는가?
• RQ2 다양한 표현 학습 방법들이 Atari 게임에서 작은, 저대비 물체(예: 열쇠, 적)를 얼마나 잘 포착하는가?
• RQ3 높은 엔트로피이자 쉽게 예측 가능한 특징(예: 시계)이 학습 목표를 지배할 경우, 대비 방법은 어느 정도 실패하는가?
• RQ4 참값 상태 변수를 갖는 제안된 벤치마크가 표현 학습 모델 평가의 신뢰성과 해석 가능성에 어떻게 기여하는가?
• RQ5 대비 방법(높은 엔트로피 특징을 선호함)과 생성 모델(큰, 낮은 엔트로피 물체를 선호함) 간 표현 품질에 어떤 정성적 차이가 있는가?

주요 결과

• ST-DIM는 Atari 벤치마크에서 모든 상태 변수에 대해 가장 높은 평균 F1 스코어를 기록했으며, 대비 기반 기준선 및 VAE, 픽셀 예측과 같은 생성 모델들을 모두 앞섰다.
• ST-DIM는 몬테주마의 화랑과 같은 게임에서 열쇠나 적과 같은 작은 물체를 포착하는 데 있어 기존 대비 기반 방법들보다 F1 스코어가 20-30% 높게 나타났다.
• 보ocking스 게임에서 ST-DIM는 시계 변수에 대해 F1 스코어 0.92, 플레이어 점수에 대해 0.88를 기록했으며, CPC와 Global-T-DIM는 높은 성능을 내는 시계를 포착했지만 플레이어와 적의 위치를 효과적으로 포착하지 못했다.
• 제거 실험 결과, 공간적 대비 구성 요소를 제거한 Global-T-DIM는 모든 상태 변수에서 성능이 떨어졌으며, 이는 목적 함수 내 공간적 인식 편향의 중요성을 확인한다.
• 대비 방법인 ST-DIM는 쉽게 악용 가능한 특징(예: 보킹스의 시계)에 더 강건한 반면, CPC와 Global-T-DIM는 이러한 특징에서 포화 상태에 이르러 더 복잡한 낮은 엔트로피 상태 요인에서 성능이 떨어진다.
• 생성 모델인 PIXEL-PRED는 높은 엔트로피 특징(예: 시계, 점수)에서는 성능이 열악하지만, 큰 낮은 엔트로피 특징(예: 플레이어 및 적 위치)에서는 뛰어나며, 이는 대비 방법과 상보적인 강점을 보여준다.