[논문 리뷰] Graph Constrained Reinforcement Learning for Natural Language Action Spaces

Prithviraj Ammanabrolu, Matthew Hausknecht|arXiv (Cornell University)|2020. 01. 23.

Topic Modeling참고 문헌 18인용 수 36

한 줄 요약

KG-A2C는 지식-그래프 상태 표현과 템플릿 기반 액션 공간을 사용하여 대화형 허구에서 큰 자연어 액션 공간을 효율적으로 탐색하고 Jericho 게임에서 다수의 최첨단 성능을 달성한다.

ABSTRACT

Interactive Fiction games are text-based simulations in which an agent interacts with the world purely through natural language. They are ideal environments for studying how to extend reinforcement learning agents to meet the challenges of natural language understanding, partial observability, and action generation in combinatorially-large text-based action spaces. We present KG-A2C, an agent that builds a dynamic knowledge graph while exploring and generates actions using a template-based action space. We contend that the dual uses of the knowledge graph to reason about game state and to constrain natural language generation are the keys to scalable exploration of combinatorially large natural language actions. Results across a wide variety of IF games show that KG-A2C outperforms current IF agents despite the exponential increase in action space size.

연구 동기 및 목표

• 텍스트 기반 게임에서 조합적으로 큰 액션 공간을 가진 문제에 대한 확장 가능한 강화 학습의 필요성을 제시한다.
• 동적 지식 그래프와 템플릿 기반 액션 공간을 결합한 하이브리드 에이전트를 제안한다.
• 그래프 인지형 온-폴리시 방법으로 에이전트를 학습하고 다양한 IF 게임에서 평가한다.
• 그래프 및 템플릿 구성 요소의 기여를 이해하기 위한 제거 연구를 분석한다.

제안 방법

• 관측으로부터 업데이트되며 OpenIE와 규칙 기반 정제를 거쳐 동적 지식 그래프로 게임 상태를 표현한다.
• 어휘에서 채워지는 템플릿 기반 공간으로 액션 생성을 제약하고 KG로 파생된 그래프 마스크를 적용한다.
• GRU와 그래프 주의 네트워크를 통해 관측치와 KG를 인코딩하여 상태 임베딩을 생성한다.
• 두 단계 프로세스로 액션을 디코딩한다: 템플릿 선택 후 객체 슬롯을 채우되 그래프 기반 마스크로 제약한다.
• 유효한 액션 손실을 사용한 Advantage Actor-Critic(A2C) 프레임워크로 탐색을 의미 있는 액션으로 축소한다.
• 보조 엔트로피 손실을 유효한 액션 위에 도입하여 탐색을 촉진하고 조기 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 지식 그래프를 기반으로 한 상태 표현과 템플릿 기반 액션 공간의 결합이 NLP 액션 공간에서 확장 가능한 RL을 가능하게 하는가?
• RQ2 그래프 어텐션과 그래프 유도 마스킹이 다양한 IF 게임에서 학습 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 텍스트 기반 게임의 효과적인 정책 학습에서 유효한 액션 감독 versus 무제한 탐색의 상대적 중요성은 무엇인가?

주요 결과

• KG-A2C가 Jericho의 28개 게임 중 23개에서 템플릿-DQN 벤치마크와 동등하거나 이를 상회한다.
• 액션 공간이 이전 에이전트의 여섯 자릿수 규모에 비해 크더라도 광범위한 게임군에서 KG-A2C가 강한 성능을 달성한다.
• 제거 연구는 그래프 구성 요소(GAT)와 그래프 마스킹이 일반적으로 성능을 개선함을 보이고, 유효한 액션 감독의 제거는 학습 성능을 크게 악화시킨다.
• KG-A2C는 다양한 게임 장르와 상태-행동 구조에서도 견고한 성능을 유지하여 방법의 일반화 가능성을 시사한다.
• 템플릿 기반 액션 공간의 비중이 크며, 템플릿 없이 단어별로 디코딩하는 경우 성능이 저조하다(아블레이션 결과).