[논문 리뷰] Pre-trained Language Models as Prior Knowledge for Playing Text-based Games

Ishika Singh, Gargi Singh외 1명|arXiv (Cornell University)|2021. 07. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 텍스트 기반 게임 에이전트에서 의미적 이해를 향상시키기 위해 사전 훈련된 언어 모델(PLMs)을 사전 지식으로 활용하는 강화학습 프레임워크를 제안한다. 딥 Q네트워크 내에서 BERT 기반 표현을 미세조정함으로써, Zork1에서 기존 최고 성능보다 1.6점 높은 44.7점의 새로운 최고 성능을 기록하며, 부분 관찰 가능한 자연어 환경에서 더 나은 추론 능력과 샘플 효율성을 입증한다.

ABSTRACT

Recently, text world games have been proposed to enable artificial agents to understand and reason about real-world scenarios. These text-based games are challenging for artificial agents, as it requires an understanding of and interaction using natural language in a partially observable environment. Agents observe the environment via textual descriptions designed to be challenging enough for even human players. Past approaches have not paid enough attention to the language understanding capability of the proposed agents. Typically, these approaches train from scratch, an agent that learns both textual representations and the gameplay online during training using a temporal loss function. Given the sample-inefficiency of RL approaches, it is inefficient to learn rich enough textual representations to be able to understand and reason using the textual observation in such a complicated game environment setting. In this paper, we improve the semantic understanding of the agent by proposing a simple RL with LM framework where we use transformer-based language models with Deep RL models. We perform a detailed study of our framework to demonstrate how our model outperforms all existing agents on the popular game, Zork1, to achieve a score of 44.7, which is 1.6 higher than the state-of-the-art model. Overall, our proposed approach outperforms 4 games out of the 14 text-based games, while performing comparable to the state-of-the-art models on the remaining games.

연구 동기 및 목표

• 텍스트 기반 게임에서 처음부터 훈련하는 강화학습 에이전트의 샘플 비효율성과 열악한 의미 이해 능력 문제를 해결한다.
• 게임에서 생성된 관찰만으로 풍부한 텍스트 표현을 학습하는 데 한계가 있는 온라인 강화학습의 한계를 극복한다.
• 부분 관찰 가능한 자연어 환경에서 정책 학습과 의사결정을 향상시키기 위해 사전 훈련된 언어 모델을 사전 지식으로 통합한다.
• 사전 훈련된 표현을 활용할 경우 다양한 텍스트 기반 게임에서 더 나은 일반화 능력과 성능을 달성할 수 있음을 입증한다.
• 에이전트가 환경의 자연어 기술 및 암묵적 신호에서 학습할 수 있도록 하여 수동으로 설계된 보상 함수에 대한 의존도를 줄인다.

제안 방법

• 게임 전용 텍스트 관찰에 대해 사전 훈련된 BERT 기반 언어 모델을 미세조정하여 의미적으로 풍부한 상태 표현을 추출한다.
• PLM 인코더를 딥 Q네트워크(DQN) 아키텍처에 통합하여 문맥화된 임bedding 기반의 행동가치 예측을 수행한다.
• 표준 딥 강화학습 목표와 시간 차이 손실 함수를 사용하여 정책을 엔드 투 엔드로 훈련한다.
• 학습 중 샘플 효율성을 향상시키기 위해 커리큘럼 학습 및 탐색 전략을 적용한다.
• 기존 연구와 동일한 행동 공간과 환경 인터페이스를 유지하여 베이스라인 간 공정한 비교를 확보한다.
• 에이전트를 지상 진실 목표 또는 보상 형상화에 접근하지 않고도 게임 환경의 희박한 보상만을 사용해 훈련한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 텍스트 기반 게임 에이전트의 의미 이해를 향상시키는 데 효과적인 사전 지식로 기능할 수 있는가?
• RQ2 딥 강화학습 프레임워크에 PLMs를 통합할 경우, 처음부터 훈련하는 것과 비교해 더 높은 샘플 효율성과 성능을 달성할 수 있는가?
• RQ3 제안된 방법은 다양한 게임에서 최종 게임 점수와 일반화 능력 측면에서 기존 최고 수준의 에이전트와 어떻게 비교되는가?
• RQ4 사전 훈련된 표현을 사용할 경우, 에이전트가 암묵적 신호(예: 물체 상호작용, 환경 기술 등)를 더 효과적으로 추출하고 활용할 수 있는가?
• RQ5 PLMs의 사용이 텍스트 기반 게임 환경에서 복잡한 보상 형상화나 커리큘럼 설계의 필요성을 줄이는가?

주요 결과

• 제안된 DBERT-DRRN 모델은 Zork1에서 44.7점의 게임 점수를 기록하여 새로운 최고 성능을 달성하였으며, 이는 이전 최고 성능 모델보다 1.6점 높은 성과이다.
• 이 모델은 14개의 표준 텍스트 기반 게임 중 4개에서 기존 에이전트를 초월하여, 단일 환경을 넘어서도 효과적인 것으로 입증되었다.
• 사전 훈련된 언어 모델의 통합은 에이전트가 복잡한 텍스트 기술을 더 잘 이해하고 행동 선택을 위한 관련 신호를 효과적으로 추출할 수 있도록 크게 향상시켰다.
• 플레이어 트레이스를 통해 어두운 방에서 램프와 계란을 정확히 사용하는 등 어려운 상황에서의 더 나은 추론 능력을 보였다.
• 나머지 게임들에 대해서도 높은 성능를 유지하며 최고 수준의 결과에 근접하거나 이를 충족시켜, 강건성과 일반화 능력을 입증했다.
• 결과적으로 사전 훈련된 언어 모델이 부분 관찰 가능한 자연어 환경에서 학습 효율성과 최종 성능을 향상시키는 강력한 인덕티브 바이어스를 제공함을 확인했다.