[논문 리뷰] Learning Dynamic Belief Graphs to Generalize on Text-Based Games

Ashutosh Adhikari, Xingdi Yuan외 8명|arXiv (Cornell University)|2020. 02. 21.

Topic Modeling참고 문헌 56인용 수 55

한 줄 요약

논문은 텍스트 관찰로부터 잠재 신념 그래프를 구축하고 업데이트하는 그래프 보조 변환기 에이전트 GATA를 소개하여 텍스트 월드(TextWorld) 텍스트 기반 게임들에서 계획 및 일반화를 수행하며 텍스트 기반 기준보다 상회한다.

ABSTRACT

Playing text-based games requires skills in processing natural language and sequential decision making. Achieving human-level performance on text-based games remains an open challenge, and prior research has largely relied on hand-crafted structured representations and heuristics. In this work, we investigate how an agent can plan and generalize in text-based games using graph-structured representations learned end-to-end from raw text. We propose a novel graph-aided transformer agent (GATA) that infers and updates latent belief graphs during planning to enable effective action selection by capturing the underlying game dynamics. GATA is trained using a combination of reinforcement and self-supervised learning. Our work demonstrates that the learned graph-based representations help agents converge to better policies than their text-only counterparts and facilitate effective generalization across game configurations. Experiments on 500+ unique games from the TextWorld suite show that our best agent outperforms text-based baselines by an average of 24.2%.

연구 동기 및 목표

• 학습된 그래프 구조 상태 표현으로 텍스트 기반 게임을 해결하려는 동기를 부여한다.
• 계획 수립 중 잠재 신념 그래프를 추론하고 업데이트하는 그래프 보강 변환기 에이전트(GATA) 개발
• 환경 역학을 포착하기 위해 자기지도 학습 task로 그래프 업데이트를 사전 학습
• 보상을 최적화하기 위해 강화학습으로 행동 선택기 학습
• 보이지 않는 TextWorld 게임 분포에 걸쳐 일반화 평가 및 기준 그래프 baselines와 비교

제안 방법

• 환경 상태를 동적 신념 그래프 G로 표현; G는 잠재 인접 텐서로 업데이트된다.
• 이전 그래프, 관찰, 그리고 마지막 행동으로부터 그래프 변화 Delta g_t를 예측하는 그래프 업데이터를 사용; G_t = G_{t-1} ⊕ Delta g_t.
• Observation Generation(Seq2Seq 재구성)과 Contrastive Observation Classification으로 그래프 업데이터를 사전 학습( G_t와 O_t 사이의 MI 최대화 포함 ).
• Relational Graph Convolutional Networks(R-GCN)로 G_t를 인코딩하고 관계 임베딩을 조정; Transformer로 O_t를 인코딩; 양방향 주의(attention)으로 융합하여 행동 점수화.
• 다수의 게임에서 에피소드를 통해 학습하는 Double DQN(다중 스텝, 우선 재생)으로 행동 선택기를 학습하여 게임 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 동적 그래프-구조 표현이 텍스트 기반 게임에서 정책 학습과 일반화를 개선할 수 있는가?
• RQ2 학습된 신념 그래프 기반 에이전트가 ground-truth 그래프에 접근하는 성능에 얼마나 근접할 수 있는가?
• RQ3 자기지도 사전 학습 작업이 부분적으로 텍스트 관찰로부터 유용한 환경 동역학을 인코딩하는 데 그래프 업데이터에 도움이 되는가?

주요 결과

• GATA는 unseen TextWorld 게임에서 강력한 텍스트 기반 기준(트랜스포머를 포함한 DQN 변형)보다 우수한 성능을 보인다.
• 그래프 업데이터를 self-supervised 작업으로 함께 사전 학습하면 각각을 단독으로 사용할 때보다 더 나은 성능을 얻는다.
• 텍스트 관찰과 신념 그래프를 함께 사용하면 주의(attention- guided scoring)를 통해 정책 품질이 더욱 향상된다.
• Ground-truth 그래프에 접근할 수 있는 에이전트(GATA-GTF)는 GATA보다 더 높은 점수를 달성하지만 부분적으로 관찰된 설정에서도 학습된 그래프의 이점을 여전히 보여준다.
• GATA-GTF는 GATA 스타일의 그래프 기반 방법의 상한을 나타내며, 상태 표현 개선이 성능의 핵심 요인임을 강조한다.
• 난이도 수준 전반에 걸쳐 GATA가 텍스트 전용 기준 대비 정책 품질과 일반화에서 일관된 개선을 보여준다.