[논문 리뷰] Playing hard exploration games by watching YouTube

Yusuf Aytar, Tobias Pfaff외 4명|arXiv (Cornell University)|2018. 05. 29.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 환경 보상 신호 없이도 강력한 탐색 과제를 가진 아케이드 게임 몬테주마의 복수, 히트폴, 프라이빗 아이를 해결할 수 있도록 하는 자기지도 학습 방법을 제안한다. 이는 액션 또는 보상 경로에 접근할 수 없고, 정렬되지 않은 노이즈가 많은 유튜브 영상만을 활용한다. 시간적 및 다중모달 대비 학습을 통해 도메인 불변 영상 표현을 학습함으로써, 단일 임bedded 유튜브 클립을 사용해 모의 보상(imitation reward)을 생성하며, 인간 수준의 성능을 달성한다. 이는 처음으로 환경 보상 없이도 인간 수준의 성능을 달성한 것이다.

ABSTRACT

Deep reinforcement learning methods traditionally struggle with tasks where environment rewards are particularly sparse. One successful method of guiding exploration in these domains is to imitate trajectories provided by a human demonstrator. However, these demonstrations are typically collected under artificial conditions, i.e. with access to the agent's exact environment setup and the demonstrator's action and reward trajectories. Here we propose a two-stage method that overcomes these limitations by relying on noisy, unaligned footage without access to such data. First, we learn to map unaligned videos from multiple sources to a common representation using self-supervised objectives constructed over both time and modality (i.e. vision and sound). Second, we embed a single YouTube video in this representation to construct a reward function that encourages an agent to imitate human gameplay. This method of one-shot imitation allows our agent to convincingly exceed human-level performance on the infamously hard exploration games Montezuma's Revenge, Pitfall! and Private Eye for the first time, even if the agent is not presented with any environment rewards.

연구 동기 및 목표

• 희박한 보상 신호가 존재하는 탐색 과제가 어려운 아케이드 게임을 해결할 수 있도록 강화학습 에이전트를 가능하게 하며, 기존 방법이 행동 공간의 지수적 증가와 보상 신호 부족으로 실패하는 이유를 해결한다.
• 에이전트 관측과 정렬되지 않은 노이즈가 많은 유튜브 게임 플레이 영상 사이의 도메인 갭을 극복하여, 일반적으로 모의 학습을 방해하는 문제를 해결한다.
• 프레임 수준의 정렬 또는 액션/보상 애너테이션 없이도 다양한 영상 시연을 정렬하는 자기지도 표현 학습 방법을 개발한다.
• 단일 유튜브 영상에서의 일회성 모의 학습을 가능하게 하기 위해, 인간의 게임 플레이 트랙젝터리를 모방하도록 유도하는 보상 함수를 구성한다.
• 환경 보상이나 전문가 액션 시퀀스에 의존하지 않고도 몬테주마의 복수, 히트폴, 프라이빗 아이에서 인간 수준 또는 초인간 수준의 성능을 달성한다.

제안 방법

• 이 방법은 두 가지 목적을 통해 정렬되지 않은 여러 유튜브 영상 간에 공통된 영상 표현을 학습하는 자기지도 대비 학습 프레임워크를 사용한다: 시간적 대비 학습(TDC)과 다중모달 대비 학습(CMC).
• TDC는 동일한 영상에서 시간적으로 가까운 클립을 정렬하고, CMC는 서로 다른 영상에서 같은 게임 플레이 순간에 해당하는 시각적 및 청각적 클립을 정렬한다.
• 결과적으로 생성된 공통 임베딩 공간을 통해 지도 없이도 순환 일致성 평가를 통해 정렬 품질을 평가할 수 있다.
• 단일 유튜브 영상가 이 공간에 임베딩되어 탐색 체크포인트 시퀀스를 생성하며, 이는 에이전트의 보조 모의 보상 정의에 사용된다.
• 에이전트는 이 모의 보상과 표준 강화학습(IMPALA)을 조합하여, 환경 보상이 전혀 없는 경우에도 탐색을 유도할 수 있다.
• 이 방법은 시연자 액션 시퀀스나 보상 경로에 접근할 필요가 없어, 실제의 정제되지 않은 영상 데이터에 적용 가능하다.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습이 정렬되지 않은 노이즈가 많은 유튜브 영상들을 의미 있는 시간적 및 다중모달 구조를 유지하는 공통 공간으로 정렬할 수 있는가?
• RQ2 단일 임bedded 유튜브 영상이 신뢰할 수 있는 모의 보상을 생성할 수 있으며, 이로 인해 환경 보상 없이도 어려운 탐색 게임을 해결할 수 있는가?
• RQ3 해상도, 색상, 화면 비율, 시각적 잡음 등의 차이로 인한 심각한 도메인 갭이 존재하는 상황에서도 이 방법이 일반화 가능한가?
• RQ4 에이전트가 환경 보상이나 전문가 액션/보상 데이터 없이도 유튜브 영상만으로 몬테주마의 복수, 히트폴, 프라이빗 아이에서 인간 수준 또는 초인간 수준의 성능을 달성할 수 있는가?
• RQ5 높은 도메인 이동과 정렬 부족이 있는 전문가 영상의 변형에 대해 성능이 강인한가?

주요 결과

• 제안된 방법은 몬테주마의 복수에서 37,232.7점의 성과를 기록했으며, 평균 인간 점수 4,743.0점과 DQfD의 이전 SOTA 4,659.7점보다 뛰어나다.
• 히트폴에서는 54,912.4점의 성과를 기록했으며, 평균 인간 점수 6,464.0점과 DQfD의 이전 SOTA 57.3점보다 뛰어나다.
• 프라이빗 아이에서는 98,212.5점의 성과를 기록했으며, 평균 인간 점수 69,571.0점과 DQfD의 이전 SOTA 42,457.2점보다 뛰어나다.
• 에이전트는 환경 보상 신호 없이도 모의 보상만으로 모든 세 게임에서 초인간 수준의 성능을 달성했다.
• 높은 도메인 이동이 있는 다양한 전문가 영상에 대해 성능이 강인하여, 이 방법의 일반화 능력을 입증했다.
• TDC와 CMC 자기지도 목적함수의 조합이 정렬되지 않은 유튜브 영상 간 효과적인 정렬을 가능하게 하여, 복잡한 환경에서의 일회성 모의 학습의 기반을 마련했다.