[논문 리뷰] Beating Atari with Natural Language Guided Reinforcement Learning

Russell Kaplan, Christopher Sauer외 1명|arXiv (Cornell University)|2017. 04. 18.

Reinforcement Learning in Robotics참고 문헌 10인용 수 34

한 줄 요약

이 논문은 자연어 지시를 추가적인 감독으로 사용하여 아케이드 게임을 클리어하는 딥 강화학습 에이전트를 소개한다. 게임 프레임과 텍스트 간의 다중모달 임베딩을 학습함으로써 에이전트는 영어 명령어 목록을 통해 진행 상황을 자가 모니터링하며, 이를 완료할 때마다 보너스 보상을 얻는다. 결과적으로 몬테주마의 레비언에서 3500점의 점수를 기록하여 DQN, A3C 및 최고의 OpenAI Gym 에이전트를 능가한다.

ABSTRACT

We introduce the first deep reinforcement learning agent that learns to beat Atari games with the aid of natural language instructions. The agent uses a multimodal embedding between environment observations and natural language to self-monitor progress through a list of English instructions, granting itself reward for completing instructions in addition to increasing the game score. Our agent significantly outperforms Deep Q-Networks (DQNs), Asynchronous Advantage Actor-Critic (A3C) agents, and the best agents posted to OpenAI Gym on what is often considered the hardest Atari 2600 environment: Montezuma's Revenge.

연구 동기 및 목표

• 상태 기반 환경인 아케이드 게임과 같은 환경에서 강화학습 에이전트가 고수준의 자연어 지시를 통해 학습할 수 있도록 하는 것.
• 기존 에이전트가 학습에 실패하는 환경, 예를 들어 몬테주마의 레비언과 같은 환경에서의 희박한 보상 문제를 해결하는 것.
• 에이전트가 자연어 명령어 목록을 따라 진행 상황을 추적하는 자가 모니터링 메커니즘을 개발하는 것.
• 언어 유도 보상 형상화가 복잡하고 보상이 희박한 환경에서 샘플 효율성과 최종 성능을 향상시킨다는 것을 입증하는 것.
• 시각과 언어 간의 다중모달 임베딩을 활용해 인간과 유사한 지시 수행 능력을 가진 인공 에이전트의 가능성을 탐색하는 것.

제안 방법

• 에이전트는 시각적 관측값(게임 프레임)과 자연어 지시를 정렬하기 위해 다중모달 임베딩 모델을 사용하여 공유된 벡터 공간을 학습한다.
• 언어 지시의 완료는 프레임 임베딩과 명령어 임베딩 간의 코사인 유사도(스칼라 곱)를 계산하여 감지한다; 양수 값은 완료를 의미한다.
• 완료가 감지되면 에이전트는 추가적인 내재 보상(인트리닉 리워드)을 받고 목록의 다음 지시로 진행된다.
• 에이전트의 정책 네트워크는 게임 점수와 언어 기반 완료 보상 둘 다를 병합된 감독으로 사용하여 강화학습으로 훈련된다.
• 다중모달 임베딩은 게임 동역학과 인간이 제공한 기술을 기반으로 생성된 합성 프레임-지시 쌍 데이터셋에서 사전 훈련된다.
• 이 방법은 언어 감독을 표준 강화학습 루프에 통합하여, 보상이 희박한 환경에서 탐색과 보상 할당을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 자연어 지시만을 추가 지시로 사용하여 아케이드 게임을 클리어할 수 있는가?
• RQ2 언어 유도 보상 형상화는 몬테주마의 레비언과 같은 보상이 희박한 환경에서 학습 효율성과 최종 성능을 향상시키는가?
• RQ3 학습 데이터에 존재하지 않는 새로운 게임 상태에서도 에이전트는 언어 지시를 일반화하여 성공적으로 완료할 수 있는가?
• RQ4 샘플 효율성과 최종 성능 측면에서 언어 유도 학습은 내재적 호기심 또는 기타 보조 보상 방법과 비교해 어떻게 다른가?
• RQ5 언어 감독은 환경의 완전한 사양 없이도 복잡하고 계층적인 작업을 학습하는 데 얼마나 효과적인가?

주요 결과

• 제안된 에이전트는 6000만 프레임의 훈련 후 몬테주마의 레비언에서 최종 점수 3500점을 기록하여 최고의 OpenAI Gym 에이전트(2500점)와 표준 A3C(0점)를 크게 능가했다.
• 1000만 프레임 이후에 에이전트의 점수는 500점이었으며, DQN은 0.0점, A3C는 0.1점이었고, 이는 이전에는 해결이 어려웠던 환경에서의 강력한 학습 능력을 보여준다.
• 학습 데이터에 포함되지 않은 새로운 게임 상태에서도 에이전트는 자연어 지시를 성공적으로 완료하여 훈련 예제의 암기 초월 일반화 능력을 보였다.
• 다중모달 임베딩은 스칼라 곱 유사도를 통한 지시 완료 감지에 안정적으로 기여하여 자가 모니터링 메커니즘의 기초를 마련했다.
• 에이전트의 성능는 내재 동기 기반 에이전트가 기록한 최고의 점수 6600점조차도 뛰어넘었으며, 훈련 프레임 수가 적은 편(10000만 대비 6000만)임을 감안할 때 놀라운 성과이다.
• 이 방법은 저수준의 보상 형상화나 프로그래밍 기반 보상보다 더 자연스럽고 일반화 가능한 확장 가능한 인간이 이해할 수 있는 감독 방식을 제공한다.