[논문 리뷰] Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games

Yunqiu Xu, Meng Fang외 4명|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 58인용 수 12

한 줄 요약

이 논문은 텍스트 기반 게임에서 명시적이고 해석 가능한 추론을 가능하게 하기 위해 지식 그래프(KGs)와 스택형 계층적 어텐션 메커니즘을 통합한 딥 강화학습 에이전트인 SHA-KG를 제안한다. KG의 부분 그래프를 통해 관계적 및 시간적 인식을 모델링하고, 텍스트 관측치와 행동 이력에 대한 다중 수준 어텐션을 사용함으로써, 기준 게임에서 최신 기술 수준의 성능을 달성하며, 샘플 효율성과 최종 점수 모두에서 기존 에이전트를 능가한다.

ABSTRACT

We study reinforcement learning (RL) for text-based games, which are interactive simulations in the context of natural language. While different methods have been developed to represent the environment information and language actions, existing RL agents are not empowered with any reasoning capabilities to deal with textual games. In this work, we aim to conduct explicit reasoning with knowledge graphs for decision making, so that the actions of an agent are generated and supported by an interpretable inference procedure. We propose a stacked hierarchical attention mechanism to construct an explicit representation of the reasoning process by exploiting the structure of the knowledge graph. We extensively evaluate our method on a number of man-made benchmark games, and the experimental results demonstrate that our method performs better than existing text-based agents.

연구 동기 및 목표

• 기존 텍스트 기반 게임을 위한 강화학습 에이전트들이 추론 능력을 갖추지 못한 문제를 해결한다.
• 지식 그래프(KGs)에서 유래한 구조화된 지식을 활용해 해석 가능한 다단계 추론을 가능하게 한다.
• 관계적 및 시간적 뉘앙스를 포착하지 못하는 단일 KG 표현 방식의 한계를 극복한다.
• 텍스트 관측치, KG, 행동 이력 등의 다중 모odal 입력 통합을 계층적 어텐션 메커니즘을 통해 향상시킨다.
• 지식에 기반한 명시적 추론 및 의사결정 지원을 통해 일반화 능력과 성능 향상을 도모하는 방법을 개발한다.

제안 방법

• 관계적 및 시간적 인식을 위해 의미 역할(예: 물체 위치, 아이템 유형, 행동 이력)에 기반해 지식 그래프에서 동적 부분 그래프를 구성한다.
• 두 수준에서 입력을 처리하는 스택형 계층적 어텐션 메커니즘을 설계한다: (1) 개별 입력 모odal(예: 관측치, 인벤토리, 행동 이력)에 대한 국소 어텐션, (2) 모달 간 전역 어텐션.
• 다중 헤드 어텐션을 사용해 텍스트 관측치, KG 부분 그래프, 이력 행동에 대한 어텐션 가중치를 계산함으로써 모델이 관련 정보에 집중할 수 있도록 한다.
• 잔차 연결과 레이어 정규화를 통해 어텐션 출력을 집계함으로써 학습 안정성 향상 및 표현 학습 개선.
• 희소 보상 환경에서 DQN 또는 PPO와 같은 딥 강화학습 기법을 사용해 에이전트를 훈련하며, 정책 네트워크는 계층적 어텐션 출력에 조건화된다.
• 환경 관측치에서 새로운 지식 삼중항을 추출하고 실시간으로 KG를 업데이트하여 최신 세계 상태 표현을 유지한다.

실험 결과

연구 질문

• RQ1 지식 그래프를 명시적으로 활용한 추론이 기존 강화학습 에이전트에 비해 텍스트 기반 게임 환경에서 성능 향상에 기여하는가?
• RQ2 다중 모달 입력(텍스트, KG, 행동 이력)에 대한 계층적 어텐션은 부분 관측 가능하고 보상이 희소한 환경에서 의사결정을 어떻게 향상시키는가?
• RQ3 다양한 의미 역할을 나타내는 KG의 부분 그래프는 추론 능력과 해석 가능성에 어느 정도 기여하는가?
• RQ4 스택형 어텐션 메커니즘이 원시 입력에 대한 단순 연결 또는 어텐션에 비해 샘플 효율성과 최종 점수 측면에서 뛰어나게 되는가?
• RQ5 모델은 다양한 복잡한 텍스트 기반 게임 간에서 일반화할 수 있으며, 해석 가능한 추론 경로를 유지할 수 있는가?

주요 결과

• 제안된 SHA-KG 에이전트는 여러 기준 텍스트 기반 게임에서 최신 기술 수준의 성능을 달성하며, 기존 학습 기반 에이전트를 능가한다.
• 모델은 샘플 효율성이 향상되어 기준 에이전트(LSTM-DRQN 및 DRRN)보다 더 적은 학습 단계로 더 높은 점수를 기록한다.
• 어텐션 분석 결과, 모델은 항상 관련 정보(예: 물체 위치, 인벤토리 아이템, 최근 행동)에 집중함을 보이며, 시간에 따라 효과적인 추론을 수행함을 입증한다.
• 지식 그래프에서 유도된 부분 그래프의 사용은 관계적 및 시간적 변화(예: 물체 이동, 아이템 확보)를 추적할 수 있게 하여 의사결정 정확도를 향상시킨다.
• 스택형 계층적 어텐션 메커니즘은 다중 모달 입력을 효과적으로 균형 잡으며, 관측치, 인벤토리, 행동 이력 모달 간에 의미 있는 가중치 분포를 보여준다.
• 에이전트는 'multi'를 'gores'에 놓는 것과 같은 아이템 조합 및 다단계 퍼즐 탐색과 같은 복잡한 작업을 성공적으로 완수함으로써 강력한 추론 능력을 보여준다.