[논문 리뷰] Language Understanding for Text-based Games Using Deep Reinforcement Learning

Karthik Narasimhan, Tejas Kulkarni외 1명|arXiv (Cornell University)|2015. 06. 30.

Topic Modeling참고 문헌 24인용 수 108

한 줄 요약

이 논문은 텍스트 기반 게임에서 게임 보상 외에 다른 피드백 없이도 의미적 상태 표현과 제어 정책을 동시에 학습하는 엔드 투 엔드 딥 강화학습 프레임워크인 LSTM-DQN을 제안한다. 텍스트 기술을 의미 있는 벡터 표현으로 인코딩하기 위해 LSTM을 사용하고, 최적의 동작을 학습하기 위해 딥 Q네트워크를 활용함으로써, 백오프워즈나 백오프비그램보다 유의미하게 뛰어난 성능을 보이며, 판타지 MUD 게임에서 96%의 퀘스트 완수율을 달성했다. 반면 최고의 베이스라인은 82%에 그쳤다.

ABSTRACT

In this paper, we consider the task of learning control policies for text-based games. In these games, all interactions in the virtual world are through text and the underlying state is not observed. The resulting language barrier makes such environments challenging for automatic game players. We employ a deep reinforcement learning framework to jointly learn state representations and action policies using game rewards as feedback. This framework enables us to map text descriptions into vector representations that capture the semantics of the game states. We evaluate our approach on two game worlds, comparing against baselines using bag-of-words and bag-of-bigrams for state representations. Our algorithm outperforms the baselines on both worlds demonstrating the importance of learning expressive representations.

연구 동기 및 목표

• 관찰할 수 없는 상태와 언어의 다양성이 행동 선택을 복잡하게 만드는 텍스트 기반 게임을 플레이하는 데 도전 과제를 해결하기 위해.
• 사전에 레이블링된 상태 레이블에 의존하지 않고 원시 텍스트 기술에서 직접 표현력 있고 의미적으로 유의미한 상태 표현을 학습하기 위해.
• 게임 보상만을 피드백으로 사용하여 정책과 표현 학습을 동시에 학습함으로써 부분적으로 관찰 가능한 환경에서 엔드 투 엔드 학습을 가능하게 하기 위해.
• 학습된 표현이 다른 게임 세계 간에 이식 가능하여 학습을 가속화할 수 있는지 평가하기 위해.
• 딥 강화학습에 LSTMs를 적용할 경우 기존의 백오프워즈나 백오프비그램 기반의 베이스라인보다 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 게임을 마르코프 결정 과정(MDP)으로 모델링하고, 유일한 피드백 신호로 보상을 사용하는 딥 강화학습 프레임워크를 사용한다.
• 이중 스트림 신경망을 활용: 자연어 기술을 조밀한 벡터 표현(상태 임베딩)으로 변환하는 LSTM 인코더와 상태 임베딩를 기반으로 행동 점수를 계산하는 피드포워드 네트워크.
• 경험 재생과 타겟 네트워크를 사용하여 Q네트워크를 훈련하고, 샘플 효율성을 향상시키기 위해 우선순위 기반 경험 재생을 적용한다.
• 시간 차분 손실 함수를 사용하여 백프로파게이션을 통해 LSTM과 Q네트워크의 파라미터를 엔드 투 엔드로 동시에 학습한다.
• 기존의 게임 세계에서 사전 훈련된 파라미터로 LSTM 인코더를 초기화하여 새로운, 구조적으로 다른 게임 세계에서 학습을 가속화하는 전이 학습을 활용한다.
• 학습된 단어 임베딩의 의미적 구조를 분석하기 위해 t-SNE 시각화를 적용하고, 표현 품질 평가를 위해 코사인 유사도를 사용한다.

실험 결과

연구 질문

• RQ1 텍스트 기반 게임에서 명시적인 상태 레이블 없이도 원시 텍스트 기술에서 의미 있는 상태 표현을 딥 강화학습 에이전트가 직접 학습할 수 있는가?
• RQ2 게임 보상만을 사용하여 정책과 표현을 동시에 학습할 경우, 백오프워즈나 백오프비그램과 같은 수작업으로 만든 표현보다 성능이 향상되는가?
• RQ3 한 게임 세계에서 학습된 언어 표현이 새로운, 구조적으로 다른 게임 세계로 효과적으로 이식되어 학습을 가속화할 수 있는가?
• RQ4 학습된 벡터 표현이 '퀘스트 목표'와 '환경 객체' 사이의 연관성과 같은 의미적 관계를 포착하는가?
• RQ5 경험 샘플링 전략의 선택(균일 샘플링 대비 우선순위 기반 샘플링)이 이 설정에서 학습 속도와 수렴에 어떤 영향을 미치는가?

주요 결과

• LSTM-DQN 모델은 판타지 MUD 게임에서 96%의 퀘스트 완수율을 달성했으며, 백오프워즈 기반 베이스라인(82%)과 랜덤 베이스라인(5%)보다 유의미하게 뛰어난 성능을 보였다.
• 우선순위 기반 경험 샘플링을 사용함으로써 학습 속도가 가속화되어 균일 샘플링 대비 약 50 에포크 빠르게 최적의 정책에 도달할 수 있었다.
• 원천 게임 세계에서 사전 훈련된 LSTM 파라미터를 사용한 전이 학습은 새로운, 구조적으로 다른 게임 세계에서 최적 성능에 도달하는 데 필요한 학습 에포크 수를 약 20개 감소시켰다.
• 학습된 단어 임베딩의 t-SNE 시각화 결과, 의미적으로 유사한 단어들(예: '주방', '피자', '배고픔')이 군집을 이뤄 coherent한 의미적 하위공간을 형성하는 것으로 나타났으며, 이는 모델이 의미 있는 의미적 연관성을 학습하고 있음을 시사한다.
• 표 2에 나타낸 바와 같이, 근접한 이웃 분석을 통해 의미적으로 유사한 게임 기술(예: 인근 상태들)이 임베딩 공간에서 가까운 지점에 매핑되는 것을 확인했다.
• 학습된 표현은 언어적 다양성에 강건했고, 명시적인 상태 관찰 없이도 게임 상태의 핵심 의미를 포착하여 정확한 정책 학습이 가능했다.