[논문 리뷰] Question Answering over Knowledge Graphs with Neural Machine Translation and Entity Linking

Daniel Diomedi, Aidan Hogan|arXiv (Cornell University)|2021. 07. 06.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 지식 그래프 기반 질문 응답을 위한 하이브리드 접근 방식인 ElNeuQA를 제안한다. 이는 신경 기계 번역(NMT)을 사용해 쿼리 템플릿을 생성하고, 엔티티 연결(EL)을 통해 정확한 엔티티 식별을 수행하며, 슬롯 채우기(SF)를 통해 템플릿을 구체화한다. 순수한 NMT 모델과는 달리 엔티티 해석을 쿼리 생성과 분리함으로써 엔티티 관련 오류를 크게 줄였으며, 기존에 본 적 있는 쿼리 템플릿에 의존함에도 불구하고 위키데이터 QA 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

The goal of Question Answering over Knowledge Graphs (KGQA) is to find answers for natural language questions over a knowledge graph. Recent KGQA approaches adopt a neural machine translation (NMT) approach, where the natural language question is translated into a structured query language. However, NMT suffers from the out-of-vocabulary problem, where terms in a question may not have been seen during training, impeding their translation. This issue is particularly problematic for the millions of entities that large knowledge graphs describe. We rather propose a KGQA approach that delegates the processing of entities to entity linking (EL) systems. NMT is then used to create a query template with placeholders that are filled by entities identified in an EL phase. Slot filling is used to decide which entity fills which placeholder. Experiments for QA over Wikidata show that our approach outperforms pure NMT: while there remains a strong dependence on having seen similar query templates during training, errors relating to entities are greatly reduced.

연구 동기 및 목표

• 지식 그래프 질문 응답(KGQA)을 위한 신경 기계 번역(NMT)에서의 어휘 외 문제, 특히 드문 또는 미리 보지 못한 엔티티에 대해 해결한다.
• 순수한 NMT 기반 시스템에서 잘못되거나 누락된 엔티티 번역으로 인한 KGQA 오류를 줄인다.
• 엔티티 연결을 쿼리 생성에서 분리함으로써 자연어 질문에서 SPARQL 쿼리를 생성하는 데 있어 정확성과 내성성을 향상시킨다.
• NMT, 엔티티 연결, 슬롯 채우기의 조합이 복잡한 KGQA 작업을 위한 모듈러 파이프라인으로서 효과적으로 작용하는지 평가한다.
• 엔티티가 쿼리 템플릿 채우기 이전에 전용 연결 시스템을 통해 해석될 경우 엔티티 관련 오류가 크게 감소함을 입증한다.

제안 방법

• 시스템은 특정 엔티티 대신 일반화된 자리표시자(<obj1>, <subj1> 등)를 사용해 쿼리 템플릿을 생성함으로써 어휘 외 문제의 위험을 줄인다.
• 엔티티 연결(EL)은 AIDA, DBpedia Spotlight, OpenTapioca, TagME의 네 가지 시스템을 조합한 방식으로 수행되며, 투표 및 점수 기반으로 엔티티 후보를 순위 매긴다.
• 문장 내 어휘의 역할(예: 주어, 목적어 등)을 식별하기 위해 BiLSTM-CRF 모델을 사용한 시퀀스 레이블링을 수행하며, GloVe와 Flair의 문맥 임베딩을 활용한다.
• 슬롯 채우기(SF)는 NMT로 생성된 템플릿의 자리표시자를 EL 결과와 매칭함으로써 특정 엔티티로 치환하며, 엔티티 순위를 활용해 충돌을 해결한다.
• 강제 채우기 전략을 후행 조치로 적용한다: 겹치는 언급, 역할 기반 매칭, 순차적 채우기를 통해 자리표시자를 최대한 채운다.
• 파이프라인은 LC-QuAD 2.0와 새로운 위키데이터QA 데이터셋을 기반으로 훈련되며, 훈련 및 평가에 골드 표준 엔티티 주석이 사용된다.

실험 결과

연구 질문

• RQ1 엔티티 해석을 쿼리 생성에서 분리함으로써 순수한 NMT 기반 KGQA 시스템에서 엔티티 관련 오류를 줄일 수 있는가?
• RQ2 하이브리드 NMT-EL-SF 접근 방식이 위키데이터의 정확한 SPARQL 쿼리 생성에 있어 순수한 NMT 모델보다 성능이 뛰어나게 되는가?
• RQ3 엔티티 연결의 사용이 KGQA에서 어휘 외 문제를 어느 정도 완화하는가?
• RQ4 엔티티 순위 매기기 및 후행 전략이 쿼리 생성의 내성성에 어떤 영향을 미치는가?
• RQ5 NMT, EL, SF의 모듈러 설계가 새로운 또는 복잡한 질문 템플릿에 대한 일반화 능력을 향상시키는가?

주요 결과

• 제안된 ElNeuQA 접근 방식은 위키데이터 QA에서 최신 순수한 NMT 기반 베이스라인을 능가하며, 특히 엔티티 관련 오류를 줄이는 데 뛰어난 성능을 보였다.
• 훈련 중에 기존에 본 쿼리 템플릿에 강하게 의존함에도 불구하고, 새로운 또는 잘못 식별된 엔티티로 인한 오류가 크게 감소하였다.
• 엔티티 연결의 사용은 드문 또는 모호한 엔티티에 대해 특히 정확한 엔티티 기반 설정을 향상시켜, NMT 훈련 중에 볼 수 없었던 엔티티에 대해서도 유의미한 개선을 이끌었다.
• 투표 및 점수 기반 메커니즘을 갖춘 앙상블 EL 시스템은 강력한 엔티티 후보 순위 매기기를 제공하며, 후속 슬롯 채우기 성능을 향상시켰다.
• 강제 채우기 전략은 누락되거나 잘못 분류된 엔티티 언급을 효과적으로 복구하여 전체 쿼리의 완전성을 향상시켰다.
• 결과적으로 NMT, EL, SF의 모듈러 통합은 종단 간 NMT만을 사용하는 것보다 더 신뢰성 있고 정확한 KGQA 파이프라인을 제공하는 것으로 입증되었다.