[논문 리뷰] Learning Dynamic Knowledge Graphs to Generalize on Text-Based Games.

Ashutosh Adhikari, Xingdi Yuan외 8명|arXiv (Cornell University)|2020. 02. 21.

Topic Modeling인용 수 19

한 줄 요약

이 논문은 원시 텍스트에서 종합적으로 동적 지식 그래프를 학습하는 그래프 보조 트랜스포머 에이전트인 GATA를 제안한다. 이는 텍스트 기반 게임에서 계획 수립과 일반화 능력을 향상시키기 위한 것이다. 강화 학습과 자기지도 학습을 조합함으로써 GATA는 500개 이상의 TextWorld 게임에서 텍스트 전용 기준 모델 대비 평균 24.2% 높은 성능을 기록하며, 더 나은 정책 수렴과 일반화 능력을 입증한다.

ABSTRACT

Playing text-based games requires skills in processing natural language and sequential decision making. Achieving human-level performance on text-based games remains an open challenge, and prior research has largely relied on hand-crafted structured representations and heuristics. In this work, we investigate how an agent can plan and generalize in text-based games using graph-structured representations learned end-to-end from raw text. We propose a novel graph-aided transformer agent (GATA) that infers and updates latent belief graphs during planning to enable effective action selection by capturing the underlying game dynamics. GATA is trained using a combination of reinforcement and self-supervised learning. Our work demonstrates that the learned graph-based representations help agents converge to better policies than their text-only counterparts and facilitate effective generalization across game configurations. Experiments on 500+ unique games from the TextWorld suite show that our best agent outperforms text-based baselines by an average of 24.2%.

연구 동기 및 목표

• 텍스트 기반 게임 에이전트에서 수작업으로 구성한 표현 방식과 히ュ리스틱 기반 접근의 한계를 극복하기 위해.
• 다양한 게임 설정 간 효과적인 순차적 의사결정 및 일반화를 가능하게 하기 위해.
• 원시 텍스트 기반으로 구조적이고 동적인 지식 그래프를 종합적으로 학습하기 위해.
• 그래프 기반 신뢰 표현을 통해 정책 학습 및 계획 수립 성능을 향상시키기 위해.

제안 방법

• 에이전트는 계획 도중 잠재적 신뢰 그래프를 추론하고 업데이트하는 그래프 보조 트랜스포머 아키텍처를 사용한다.
• 에이전트는 원시 텍스트 시퀀스에서 사전 학습을 통해 초기 그래프 구조를 구축하기 위해 자기지도 학습을 활용한다.
• 강화 학습을 통해 게임에 특화된 보상 기반으로 에이전트를 미세 조정하며, 관측된 전이에 따라 그래프를 업데이트한다.
• 신뢰 그래프는 엔티티 간 관계와 게임 상태의 동적 변화를 캡처하여 더 나은 행동 선택을 가능하게 한다.
• 그래프 업데이트가 미분 가능하므로 정책 기반 경량화를 통한 종합적 훈련이 가능하다.
• 맥락적 추론을 향상시키기 위해 텍스트 토큰과 그래프 노드 양쪽에 주의 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 종합적으로 학습된 동적 지식 그래프가 텍스트 기반 게임에서 정책 학습을 향상시킬 수 있는가?
• RQ2 그래프 기반 표현 방식이 미리 보지 못한 게임 설정 간의 일반화 능력을 어떻게 향상시키는가?
• RQ3 자기지도 학습과 강화 학습을 조합함으로써 텍스트 전용 기준 모델 대비 성능 향상 정도는 어느 정도인가?
• RQ4 잠재적 그래프를 사용할 경우, 동적이고 복잡한 게임 환경에서도 에이전트가 효과적인 계획 수립을 유지할 수 있는가?

주요 결과

• GATA는 TextWorld 스위트의 500개 이상의 게임에서 텍스트 전용 기준 모델 대비 평균 24.2% 높은 성능을 기록한다.
• 학습된 그래프 표현 방식 덕분에 텍스트 전용 모델 대비 고성능 정책에 더 빠르게 수렴한다.
• 구조적이고 동적인 지식 인코딩 덕분에 미리 보지 못한 게임 설정 간의 일반화 능력이 크게 향상된다.
• 원시 텍스트에서의 자기지도 사전 학습이 후속 강화 학습 성능을 향상시킨다.
• 동적 그래프 업데이트 덕분에 에이전트는 변화하는 게임 상태와 관계를 적응적으로 모델링할 수 있다.
• 그래프 보조 접근 방식은 복잡한 텍스트 기반 환경에서 더 견고하고 해석 가능한 의사결정을 가능하게 한다.