[논문 리뷰] Building Dynamic Knowledge Graphs from Text-based Games

Mikuláš Zelinka, Xingdi Yuan외 3명|arXiv (Cornell University)|2019. 10. 21.

Topic Modeling참고 문헌 13인용 수 8

한 줄 요약

이 논문은 30만 건의 게임 전이로 구성된 새로운 데이터셋을 사용하여 텍스트 기반 게임 관찰에서 동적 지식 그래프(KG) 업데이트 작업을 생성하는 시퀀스-투-시퀀스 트랜스포머 모델을 제안한다. 모델는 학습된 관계 임베딩을 갖춘 관계 기반 그래프 컨volution 네트워크를 활용하여 기준 모델을 뛰어넘는 성능을 보이며, 오류가 누적되는 자유 주행 추론 환경에서 성능 향상을 크게 달성한다.

ABSTRACT

We are interested in learning how to update Knowledge Graphs (KG) from text. In this preliminary work, we propose a novel Sequence-to-Sequence (Seq2Seq) architecture to generate elementary KG operations. Furthermore, we introduce a new dataset for KG extraction built upon text-based game transitions (over 300k data points). We conduct experiments and discuss the results.

연구 동기 및 목표

• 상호작용 환경에서 자연어 텍스트로부터 동적으로 지식 그래프를 업데이트할 수 있는 일반 목적의 방법을 개발하기 위해.
• 부분 관측 가능하고 텍스트 기반인 게임 환경에서 정확하고 진화하는 세계 지식을 유지하는 데 도전하기 위해.
• 실제 비워크스루 게임 전이에서 동적 KG 업데이트 모델의 훈련과 평가를 가능하게 하는 데이터셋을 구축하기 위해.
• 텍스트 관찰에서 정확한 KG 업데이트 작업을 생성하는 방식으로 강화 학습 에이전트의 세계 모델링 능력을 향상시키기 위해.

제안 방법

• 모델는 이중 인코더 아키텍처를 사용한다: 이전 행동과 새로운 관찰을 처리하기 위한 트랜스포머 기반 텍스트 인코더와 이전 믿음 그래프를 표현하기 위한 그래프 인코더.
• 학습된 관계 임베딩을 갖춘 관계 기반 그래프 컨volution 네트워크(R-GCN)가 KG를 인코딩하여 관계의 구조적 및 의미적 정보를 모두 포착한다.
• 어텐션 기반 어그리게이터가 텍스트 및 그래프 표현을 융합하여 디코더의 맥락 인식 가능한 은닉 상태를 생성한다.
• 디코더는 훈련 시 교사 강제 방식을 사용하여 토큰 단위로 KG 업데이트 작업의 시퀀스를 생성하고, 추론 시 자동회귀 디코딩을 수행한다.
• 모델는 음의 로그 우도 손실로 훈련되며, RDF 트리플 형식과 호환되는 방식으로 작업을 생성한다.
• 제안된 방법은 지식 그래프 상태 전이에서 추출된 참값 KG를 갖는 새로운 30만 건의 텍스트 기반 게임 전이 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 신경 시퀀스-투-시퀀스 모델이 텍스트 기반 게임의 자연어 관찰에서 정확한 KG 업데이트 작업을 효과적으로 생성할 수 있는가?
• RQ2 그래프 인코더에 관계 정보를 통합할 경우 동적 KG 업데이트의 정확도에 어떤 영향을 미치는가?
• RQ3 비정책 전이(워크스루가 아닌 행동)에서 학습함으로써 실세계 RL 환경에서의 KG 업데이트 모델의 강건성은 향상되는가?
• RQ4 오류 누적 효과는 자유 주행 추론 시나리오에서 KG 업데이트 모델의 성능에 어떤 영향을 미치는가?
• RQ5 관계 레이블의 의미를 인코딩하는 관계 임베딩은 표준 R-GCN보다 일반화 능력을 향상시키는가?

주요 결과

• R-GCN과 관계 임베딩을 사용한 모델가 자유 주행 F1 스코어 0.697을 기록하여 관계 정보가 없는 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 관계 임베딩을 갖춘 R-GCN 변종은 표준 R-GCN 대비 자유 주행 F1을 5.2%포인트 향상시켜 관계 의미 모델링의 중요성을 입증했다.
• 모델의 성능은 교사 강제 시 0.965 F1에서 자유 주행 시 0.697 F1로 떨어지며 반복적 KG 업데이트에서 오류 누적 문제의 도전성을 보여주었다.
• 관계 임베딩의 사용은 표준 R-GCN 대비 자유 주행 F1에서 5.2%p의 절대적 향상을 이끌어내어 관계 의미 모델링의 이점을 입증했다.
• 표준 트랜스포머 인코더를 사용하고 그래프 인코더를 생략한 모델는 교사 강제 하에서도 F1이 0.832에 머물러 있어 그래프 구조가 높은 성능을 위해 필수적임을 보여주었다.
• 비워크스루 행동을 포함한 30만 건의 전이로 구성된 데이터셋은 RL 환경에서의 일반화를 위한 강력한 훈련을 가능하게 한다.