[논문 리뷰] Language Expansion In Text-Based Games

Ghulam Ahmed Ansari, Sagar J. P외 2명|arXiv (Cornell University)|2018. 05. 17.

Topic Modeling참고 문헌 14인용 수 7

한 줄 요약

이 논문은 다수의 전문화된 교사 에이전트로부터 지식을 전이함으로써 단일 LSTM-DQN 에이전트가 다양한 어휘를 가진 다수의 텍스트 기반 게임을 플레이할 수 있도록 하는 정책 분해 기법을 제안한다. 이 방법은 다양한 어휘를 가진 게임 간에 완전하고 상호작용적인 언어 확장을 가능하게 하며, 다중 작업 학습과 표준 전이 학습을 모두 능가한다. 분해된 에이전트는 테스트 게임에서 100%의 퀘스트를 완수했으며, 강력하고 의미적으로 유의미한 단어 표현을 학습하였다.

ABSTRACT

Text-based games are suitable test-beds for designing agents that can learn by interaction with the environment in the form of natural language text. Very recently, deep reinforcement learning based agents have been successfully applied for playing text-based games. In this paper, we explore the possibility of designing a single agent to play several text-based games and of expanding the agent's vocabulary using the vocabulary of agents trained for multiple games. To this extent, we explore the application of recently proposed policy distillation method for video games to the text-based game setting. We also use text-based games as a test-bed to analyze and hence understand policy distillation approach in detail.

연구 동기 및 목표

• 다양한 게임 간 이원적 지식 전이가 가능한 단일 에이전트를 설계하는 것.
• 게임 간 서로 다른, 겹치는, 또는 상충되는 어휘를 가진 경우 정책 분해가 에이전트의 언어 어휘를 효과적으로 확장할 수 있는지 조사하는 것.
• 에이전트 내부에서 정책 분해가 어떻게 작동하는지 분석하기 위해 표현과 제어 모듈을 시각화하는 것.
• 학습 속도와 성능 측면에서 정책 분해를 다중 작업 학습 및 표준 전이 학습과 비교하는 것.
• 공유된 어휘를 가진 새로운, 미리 보지 않은 게임에서 전이 학습에 사용할 수 있는 분해된 단어 임베딩의 유용성을 평가하는 것.

제안 방법

• 각기 다른 어휘를 가진 개별 텍스트 기반 게임에서 별도의 LSTM-DQN 교사 에이전트를 훈련한다.
• 교사 에이전트의 Q-값 정책을 단일 학생 네트워크로 전이하기 위해 정책 분해를 사용하며, 공유 표현 레이어와 게임별 출력 헤드를 갖는다.
• 훈련 중에 학생의 출력 레이어를 위해 교사로부터의 온도 조정 소프트 레이블(softmax(q^T / τ))을 타겟으로 사용한다.
• 입력을 적절한 동작 및 개체 출력 모듈로 라우팅하기 위해 게임 레이블을 사용한다.
• 각 게임별로 별도의 메모리 버퍼를 유지하고, 한 번에 한 게임의 샘플만 순차적으로 훈련한다.
• 히트맵을 사용해 내부 표현을 시각화하여 정책 분해가 단어 임베딩과 정책 결정을 어떻게 형성하는지 분석한다.

실험 결과

연구 질문

• RQ1 다양한 게임 전용 에이전트로부터의 지식 전이가 단일 통합 에이전트로 효과적으로 이루어질 수 있는가?
• RQ2 게임 간 상태 역학이 상충되거나, 어휘가 겹치지만 정확히 일치하지 않는 경우 정책 분해의 성능는 어떠한가?
• RQ3 분해된 에이전트는 무작위나 다중 작업 초기화된 임베딩과 비교해 더 나은 일반화 능력을 가진 의미적으로 의미 있는 단어 임베딩을 학습하는가?
• RQ4 새로운, 보지 않은 게임에서 분해된 에이전트의 성능는 다중 작업 미세조정 및 표준 전이 학습과 비교해 어떠한가?
• RQ5 훈련 중에 분해된 에이전트의 내부 표현을 시각화함으로써 어떤 통찰을 얻을 수 있는가?

주요 결과

• 정책 분해 방법은 테스트 게임에서 100%의 퀘스트 완수를 달성했으며, 약 30%의 퀘스트만 해결한 다중 작업 LSTM-DQN보다 뚜렷이 뛰어난 성능을 보였다.
• 학생 네트워크에서 학생의 임베딩을 사용한 분해된 에이전트(A₄)는 동시에 모든 교사 임베딩을 사용한 A₆보다 성능이 뛰어나, 지식 통합 능력이 향상되었음을 시사한다.
• 학생 네트워크는 의미적으로 의미 있는 단어 임베딩을 학습했으며, 유사한 단어들이 벡터 공간에서 군집화되어 있었고, 다중 작업 학습에서 유사 무작위적인 임베딩과는 대조를 이뤘다.
• 분해된 학생 에이전트의 임베딩을 사용한 전이 학습은 개별 교사나 무작위 초기화보다 더 빠른 수렴과 더 나은 성능을 보였다.
• 시각화 결과 정책 분해가 표현 모듈과 제어 모듈 양쪽에서 일관되고 해석 가능한 표현을 생성함으로써 학습을 안정화시킨다는 점을 확인했다.
• 이 방법은 어휘가 다른 게임 간에 완전하고 상호작용적인 언어 확장을 성공적으로 가능하게 하여, 에이전트가 지속적이고 온라인으로 언어 학습을 수행할 수 있음을 입증했다.