[논문 리뷰] Building Dynamic Knowledge Graphs from Text using Machine Reading Comprehension

Rajarshi Das, Tsendsuren Munkhdalai외 3명|arXiv (Cornell University)|2018. 10. 12.

Topic Modeling인용 수 43

한 줄 요약

Kg-Mrc는 절차적 텍스트에서 동적 지식 그래프를 구성하고 발전하는 그래프에 조건화된 MRC 구성요소를 사용하여 엔티티 상태를 질의하며 ProPara 작업에서 최첨단 성과를 달성하고 Recipes에서 경쟁력 있는 성능을 보인다.

ABSTRACT

We propose a neural machine-reading model that constructs dynamic knowledge graphs from procedural text. It builds these graphs recurrently for each step of the described procedure, and uses them to track the evolving states of participant entities. We harness and extend a recently proposed machine reading comprehension (MRC) model to query for entity states, since these states are generally communicated in spans of text and MRC models perform well in extracting entity-centric spans. The explicit, structured, and evolving knowledge graph representations that our model constructs can be used in downstream question answering tasks to improve machine comprehension of text, as we demonstrate empirically. On two comprehension tasks from the recently proposed PROPARA dataset (Dalvi et al., 2018), our model achieves state-of-the-art results. We further show that our model is competitive on the RECIPES dataset (Kiddon et al., 2015), suggesting it may be generally applicable. We present some evidence that the model's knowledge graphs help it to impose commonsense constraints on its predictions.

연구 동기 및 목표

• 절차적 텍스트에서 동적 지식 그래프를 구축하는 도전과제를 동기 부여하고 해결한다.
• 그래프를 재귀적으로 구성하고 업데이트하여 엔티티 상태를 시간에 걸쳐 추적하는 신경망 모델 Kg-Mrc를 소개한다.
• evolving 그래프에 조건화된 MRC 모듈이 독해 task를 향상시키는지 입증한다.
• ProPara 작업에서 최첨단 성과를 보이고 Recipes에서 경쟁력 있는 결과를 보여준다.
• 학습된 그래프가 상식 제약을 부과하고 추론에 도움을 주는지 분석을 제공한다.

제안 방법

• 각 참가 엔티티를 동적 이분 그래프의 전용 노드(엔티티 및 그 현재 위치)로 표현한다.
• 현재 그래프 임베딩에 조건화하여 각 시점에서 엔티티 상태를 질의하기 위해 기계 독해(MRC) 모델(DrQA에서 영감을 받은)을 확장한다.
• 와일드카드 참조를 처리하기 위해 시점 간 소프트 코퍼런스 업데이트를 수행하되 중복 노드를 생성하지 않는다.
• Residual 연결과 엔티티 간 정보 흐름이 있는 다층 LSTM 기반 그래프 업데이트기를 사용하여 시점 간 그래프 노드를 반복적으로 업데이트한다.
• 그래프 업데이트를 MRC 감독으로 암시적으로 학습시키면서 MRC 스팬 수준 손실을 이용해 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 절차적 텍스트에서 엔티티 상태 변화를 추적하는 명시적으로 구성된 동적 지식 그래프가 가능한가?
• RQ2 evolving 그래프 표현에 조건화된 MRC 구성요소가 엔티티 상태 추출 및 다운스트림 QA를 개선하는가?
• RQ3 소프트 코퍼런스 메커니즘이 시점 간 엔티티 표현의 안정성과 일관성을 향상시키는가?
• RQ4 Kg-Mrc가 ProPara 문장 수준 및 문서 수준 작업과 Recipes 데이터 세트에서 어떻게 수행하는가?

주요 결과

모델	카테고리 1	카테고리 2	카테고리 3	매크로 평균	마이크로 평균
Kg-Mrc (ours)	62.86	40.00	38.23	47.03	46.62
ProGlobal (Dalvi et al., 2018)	62.95	36.39	35.90	45.08	45.37
Pro-Local (Dalvi et al., 2018)	62.65	30.50	10.35	34.50	33.96
EntNet (Henaff et al., 2017)	51.62	18.83	7.77	26.07	25.96

• Kg-Mrc는 ProPara 문장 수준 및 문서 수준 작업에서 최첨단 성과를 달성하며 이전 모델을 능가한다.
• 작업 1에서 Kg-Mrc는 이전 방법에 비해 매크로 및 마이크로 평균 이득을 달성하며, 정확한 상태 변화가 필요한 세부 범주에서 특히 우수하다.
• 작업 2에서 Kg-Mrc는 이전 최고(ProStruct) 대비 F1을 3.02 포인트 상승시키고 더 강한 글로벌 일관성을 보인다.
• Recipes에서 Kg-Mrc는 10k 학습 예제만으로도 NPN 기준선을 약간 능가하여 일반화가 양호함을 시사한다.
• 제외적 실험에서 소프트 코퍼런스(시간 간 및 시점 간)와 반복 그래프 모듈이 성능과 상식 제약 준수에 상당한 기여를 한다.