[논문 리뷰] Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals

Yue Wu, Yewen Fan외 4명|arXiv (Cornell University)|2023. 02. 09.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 인간이 작성한 게임 설명서를 활용하여 아케이드 게임에서 샘플 효율적인 강화학습을 향상시키는 Read and Reward라는 프레임워크를 제안한다. 영어 질문-답변를 통한 제로샷 추출을 통해 핵심 게임 플레이 규칙을 추출하고, 대규모 언어 모델을 활용한 추론을 통해 보조 보상을 생성한다. 이로 인해 최대 112배 빠른 학습과 1,000배 적은 프레임 수로 SOTA 대비 60% 향상된 성능을 달성한다.

ABSTRACT

High sample complexity has long been a challenge for RL. On the other hand, humans learn to perform tasks not only from interaction or demonstrations, but also by reading unstructured text documents, e.g., instruction manuals. Instruction manuals and wiki pages are among the most abundant data that could inform agents of valuable features and policies or task-specific environmental dynamics and reward structures. Therefore, we hypothesize that the ability to utilize human-written instruction manuals to assist learning policies for specific tasks should lead to a more efficient and better-performing agent. We propose the Read and Reward framework. Read and Reward speeds up RL algorithms on Atari games by reading manuals released by the Atari game developers. Our framework consists of a QA Extraction module that extracts and summarizes relevant information from the manual and a Reasoning module that evaluates object-agent interactions based on information from the manual. An auxiliary reward is then provided to a standard A2C RL agent, when interaction is detected. Experimentally, various RL algorithms obtain significant improvement in performance and training speed when assisted by our design.

연구 동기 및 목표

• 인간이 읽을 수 있는 게임 설명서를 외부 지식으로 활용하여 아케이드 게임에서 강화학습의 높은 샘플 복잡도 문제를 해결하는 것.
• 작업에 특화된 보상 형상 조정이나 합성 데이터를 요구하지 않고도 표준 강화학습 에이전트의 학습 효율성과 성능을 향상시키는 것.
• 실제 인간을 대상으로 제작된 설명서를 읽고 이를 강화학습 에이전트가 실행 가능한 보상으로 변환하는 일반화 가능한 종단 간 프레임워크를 개발하는 것.
• 비정형 자연어 문서가 강화학습 학습 속도를 크게 가속화하면서도 다양한 설명서 출처 간에 강건성을 유지할 수 있음을 입증하는 것.

제안 방법

• 제로샷 추출 질문-답변 모듈이 게임 설명서에서 목표, 규칙, 상호작용과 관련된 정보를 추출하고 요약한다.
• 대규모 언어 모델을 기반으로 한 추론 모듈이 추출된 설명서 내용을 바탕으로 게임 내 객체 상호작용을 평가한다.
• 객체 검출 및 국소화를 통해 거리 기반 상호작용(예: 장애물에 부딪히기)을 식별하고, 이를 보조 보상으로 매핑한다.
• 상호작용이 설명서에 명시된 규칙(예: '장애물을 피하라' 또는 '펄렛을 수집하라')과 일치하는지에 따라 보상은 +5 또는 -5로 계산된다.
• 표준 A2C 및 Agent57 강화학습 에이전트에 통합되어 재학습 없이도 즉시 적용 가능한 성능 향상이 가능하다.
• 공식 개발 설명서와 위키백과 게임 플레이 섹션을 포함한 다양한 설명서 출처 간에 일반화 성능이 일관되게 유지된다.

Figure 1: An overview of our Read and Reward framework. Our system receives the current frame in the environment, and the instruction manual as input. After object detection and grounding, the QA Extraction Module extracts and summarizes relevant information from the manual, and the Reasoning Module

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 인간이 작성한 게임 설명서를 읽는 것으로 아케이드 게임에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 비정형 자연어 설명서에 대해 제로샷 질문-답변 및 추론이 강화학습을 위한 실행 가능한 게임 규칙을 얼마나 효과적으로 추출하는가?
• RQ3 공식 개발 가이드와 위키백과 기사와 같은 다양한 출처의 설명서 간에도 이 프레임워크가 일반화되는가?
• RQ4 비정형 텍스트에서 유도된 보조 보상이 표준 강화학습 기준선 대비 학습 속도를 얼마나 빠르게 가속화하는가?
• RQ5 합성 또는 정제된 텍스트 데이터에 대한 명시적 학습 없이도 이 프레임워크가 성능 향상을 이룰 수 있는가?

주요 결과

• Skiing 게임에서 Read and Reward는 기준선 대비 1,000배 적은 학습 프레임 수로 60% 향상된 성능을 달성했다.
• Agent57에 Read and Reward를 적용했을 경우, 지연 보상 사용 시 기준선과 동일한 성능에 도달하기 위해 최대 112배 적은 학습 스텝이 필요했다.
• 공식 게임 설명서와 위키백과 게임 플레이 섹션 간에 일관된 성능 향상이 이루어져 프레임워크의 강건한 일반화 능력을 입증했다.
• 에너지 캡슐과 같은 핵심 객체가 명시적으로 탐지되지 않더라도 프레임워크는 여전히 성능 향상을 이뤘으며, 검출 부족에 대한 내성적 저항력을 보였다.
• 지연 보상 없이도 Read and Reward는 최대 112배 빠른 학습 속도를 기록했지만, 점수 향상은 관찰되지 않아 보상 형상 조정의 역할을 확인했다.
• 질문-답변 추출 모듈은 여러 게임에서 고스트를 피하고 펄렛을 수집하는 등의 핵심 게임 플레이 정보를 성공적으로 추출했다.

Figure 2: Illustration of the QA Extraction Module on the game PacMan. We obtain generic information about the game by running extractive QA on 4 generic questions (3 shown since one question did not have an answer). We then obtain object-specific information using a question template. We concatenat