[논문 리뷰] Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning

Prithviraj Ammanabrolu, Mark Riedl|arXiv (Cornell University)|2018. 12. 04.

Topic Modeling참고 문헌 16인용 수 12

한 줄 요약

이 논문은 지식 그래프를 사용해 게임 상태를 표현하고 자연어 기반 모험 게임에서 행동 공간을 정제하는 그래프 기반 딥 강화학습 아키텍처인 KG-DQN을 제안한다. 행동 선택을 질의 응답 작업으로 프레임워크화하고 전이 학습을 통해 사전 훈련함으로써, 기준 모델 대비 최적 보상에 수렴하는 데 40% 빠른 수렴 속도를 달성하면서도 더 적은 단계로 높은 품질의 퀘스트 해결을 유지한다.

ABSTRACT

Text-based adventure games provide a platform on which to explore reinforcement learning in the context of a combinatorial action space, such as natural language. We present a deep reinforcement learning architecture that represents the game state as a knowledge graph which is learned during exploration. This graph is used to prune the action space, enabling more efficient exploration. The question of which action to take can be reduced to a question-answering task, a form of transfer learning that pre-trains certain parts of our architecture. In experiments using the TextWorld framework, we show that our proposed technique can learn a control policy faster than baseline alternatives. We have also open-sourced our code at https://github.com/rajammanabrolu/KG-DQN.

연구 동기 및 목표

• 자연어 명령어로 구성된 행동 공간이 기하급수적으로 커지는 자연어 기반 어드벤처 게임에서의 과제를 해결하기 위해.
• 지식 그래프를 통해 지속적인 세계 상태 기억을 가능하게 하여 부분관측 환경에서의 샘플 효율성을 향상시키기 위해.
• 질의 응답 사전 훈련을 통한 행동 공간 정제와 전이 학습을 통합하여 학습 수렴 속도를 가속화하기 위해.
• 명시적이고 구조화된 세계 표현 방식(지식 그래프)이 복잡하고 장기적인 자연어 기반 게임 환경에서 비구조화된 임베딩보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 에이전트는 탐색이 진행되면서 변화하는 엔티티와 그 관계를 포착하는 동적 지식 그래프를 유지한다.
• 현재 그래프 상태에 존재하지 않는 엔티티나 관계를 포함하는 행동은 지식 그래프를 통해 정제되어 제거된다.
• 상태-행동 쌍의 Q값을 추정할 때 관련 부분 그래프에 집중하기 위해 그래프 어텐션 네트워크(GAT)가 지식 그래프를 처리한다.
• 자연어 행동은 트랜스포머 기반 인코더를 사용해 임베딩되며, 상태 기술과 행동 임베딩 간의 미분 가능 상호작용 메커니즘을 통해 Q값이 계산된다.
• 외부 게임 데이터를 사용해 질의 응답 작업에서 사전 훈련함으로써, 효과적인 행동에 대한 일반 지식을 전이하여 초기 정책 품질을 향상시킨다.
• 전체 KG-DQN 아키텍처는 지식 그래프 상태 표현, 그래프 어텐션, 사전 훈련된 행동 인코더를 딥 Q네트워크 프레임워크 내에 통합한다.

실험 결과

연구 질문

• RQ1 지식 그래프 표현 방식이 행동 공간이 크고 조합적으로 커지는 자연어 기반 어드벤처 게임에서 샘플 효율성과 수렴 속도를 향상시키는가?
• RQ2 지식 그래프 기반 행동 정제가 더 빠른 학습과 잘못된 행동 탐색의 감소를 이끌어내는가?
• RQ3 질의 응답 파라디그마를 통한 행동 인코더 사전 훈련이 다양한 게임 간 지식을 전이하여 정책 학습을 가속화하는 데 어느 정도 기여하는가?
• RQ4 지속적인 기억(지식 그래프)과 사전 훈련의 조합이 표준 딥 Q네트워크 대비 학습 속도와 해결 품질 측면에서 어떻게 비교되는가?

주요 결과

• 작은 TextWorld 지ap에서 KG-DQN은 최고의 기준 모델(LSTM-DQN)보다 최대 보상에 수렴하는 데 40% 더 빠르게 수렴한다.
• 큰 지도에서는 KG-DQN이 LSTM-DQN과 유사한 성능를 달성하지만, 훨씬 적은 에피소드 수로, 수렴 속도가 상당히 더 빠르다.
• 정제 기반 기반의 KG-DQN 버전(정제 및 사전 훈련 제거)은 작은 퀘스트를 완료하는 데 평균 131.7단계가 소요되었으며, 전체 모델은 73.7단계였다.
• 전체 KG-DQN 모델은 작은 퀘스트를 73.7 ± 8.5단계 내로 완료했으며, 이는 LSTM-DQN과 통계적으로 유의미하지 않다(p = 0.199)는 점에서 동일한 해결 품질을 보임을 시사한다.
• 질의 응답을 통한 사전 훈련은 일반화 능력을 향상시켜, 명시적 지시 없이도 새로운 게임 변형에서도 더 빠른 수렴을 가능하게 한다.
• 지식 그래프는 지속적인 기억을 제공하여 더 빠른 학습을 가능하게 하며, 사전 훈련 여부에 관계없이 모든 KG-DQN 버전에서 일관된 성능 향상을 보여주었다.