[논문 리뷰] Comprehensible Context-driven Text Game Playing

Xusen Yin, Jonathan May|arXiv (Cornell University)|2019. 05. 06.

Topic Modeling참고 문헌 20인용 수 11

한 줄 요약

이 논문은 Zork와 같은 텍스트 기반 게임에서 학습을 가속화하고 성능을 향상시키기 위해 위치 임베딩과 의존성 parsing 재정렬을 통합한 CNN 기반 DQN 에이전트를 제안한다. 최대 풀링 CNN을 자동 주의 메커니즘으로 사용하고, 반복된 실패한 행동에 대한 보상 형상 조정을 적용함으로써, 100만 단계(약 10시간) 이내에 최신 기술 성능(SOTA)을 달성하였다. 이는 LSTM 기반 접근 방식 대비 수렴 시간을 한 차수 감소시킨 결과이다.

ABSTRACT

In order to train a computer agent to play a text-based computer game, we must represent each hidden state of the game. A Long Short-Term Memory (LSTM) model running over observed texts is a common choice for state construction. However, a normal Deep Q-learning Network (DQN) for such an agent requires millions of steps of training or more to converge. As such, an LSTM-based DQN can take tens of days to finish the training process. Though we can use a Convolutional Neural Network (CNN) as a text-encoder to construct states much faster than the LSTM, doing so without an understanding of the syntactic context of the words being analyzed can slow convergence. In this paper, we use a fast CNN to encode position- and syntax-oriented structures extracted from observed texts as states. We additionally augment the reward signal in a universal and practical manner. Together, we show that our improvements can not only speed up the process by one order of magnitude but also learn a superior agent.

연구 동기 및 목표

• 텍스트 기반 게임에서 LSTM 기반 DQN 에이전트의 느린 수렴 문제를 해결하기 위해, 이는 수십 일에 걸쳐 학습이 필요한 경우가 있음.
• LSTM 인코더를 더 빠르고 맥락을 고려한 CNN으로 대체하여 학습 효율성과 최종 성능을 향상시키기 위해.
• 의존성 parsing을 사용해 맥락 문장을 재정렬하여 문법적으로 관련된 요소들을 공간적으로 가까이 놓음으로써 상태 표현을 향상시키기 위해.
• 반복된 실패한 행동으로 인한 탐색 비효율성을 줄이기 위해 새로운 부정적 보상 페널티 메커니즘을 도입하기 위해.
• 아키텍처 개선과 보상 형상 조정을 조합함으로써 복잡한 텍스트 기반 환경에서 더 빠르고 효과적인 학습이 가능함을 보여주기 위해.

제안 방법

• 게임 맥락 문장들에서 위치 및 문법적 특징을 추출하기 위해 최대 풀링을 사용하는 컨volutional 신경망(CNN)을 텍스트 인코더로 사용.
• 트레이젝터리의 순서를 유지하기 위해 위치 임베딩을 적용하여 모델이 맥락 흐름을 더 잘 이해할 수 있도록 돕는다.
• 의존성 파서를 활용해 맥락 문장을 재정렬하여 문법적으로 관련된 단어들이 공간적으로 가까이 오도록 하여 특징 학습을 향상시킨다.
• 반복된 부정적 행동 시도에 대해 누적 페널티 -0.1을 부여하는 보상 형상 조정 기법을 도입하여 부작위 행동을 억제한다.
• CNN 인코더를 딥 Q 네트워크(DQN) 프레임워크와 결합하여 텍스트 기반 게임 플레이를 위한 엔드 투 엔드 에이전트를 학습시킨다.
• 최대 풀링을 자동 주의 메커니즘의 한 형태로 활용하여, 명시적인 주의 메커니즘 없이도 맥락 내에서 중요한 어휘적 구성요소에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 CNN 기반 텍스트 인코더가 텍스트 기반 게임 에이전트의 학습 속도와 최종 성능에서 LSTM을 능가할 수 있는가?
• RQ2 의존성 parsing을 통한 맥락 문장의 문법적 재정렬이 학습 효율성과 수렴 시간에 어떤 영향을 미치는가?
• RQ3 반복된 부정적 행동에 기반한 보상 형상 조정이 학습 안정성 향상과 탐색 비효율성 감소에 어느 정도 기여하는가?
• RQ4 위치 임베딩과 CNN 인코더를 조합하면 표준 순서 인코딩보다 더 나은 상태 표현을 가능하게 하는가?
• RQ5 LSTM과 같은 순환 모델에 비해 더 빠르고 비순환적인 인코더인 CNN이 복잡한 텍스트 기반 게임에서 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 최대 풀링과 위치 임베딩을 통합한 CNN 기반 DQN 에이전트는 100만 단계 내에 Zork에서 최종 점수 40점을 기록하여 최신 기술 성능에 도달했다.
• 학습 시간이 한 차수 감소하여, LSTM 기반 DQN 대비 약 10시간 내에 SOTA 성능을 달성하였다.
• 의존성 parsing 재정렬 덕분에 수렴 시간이 반으로 줄었으며, 보상 형상 조정과 결합했을 때 학습 단계는 약 100만에서 약 50만으로 감소했다.
• 반복된 실패한 행동에 대한 페널티로 부작위 행동 비율이 8.73%에서 3.51%로 감소하여 학습 효율성이 크게 향상되었다.
• CNN 내 최대 풀링 레이어가 암묵적인 자동 주의 메커니즘으로 작용하여, 맥락 내에서 핵심 의미적 구성요소에 집중할 수 있도록 했다.
• CNN 인코딩, 의존성 parsing, 위치 임베딩, 보상 형상 조정의 조합은 상호보완적인 개선 효과를 만들어내어 이전의 LSTM 기반 및 CNN 전용 접근 방식을 초월하는 성능을 달성했다.