[논문 리뷰] Question Answering over Knowledge Graphs via Structural Query Patterns

Weiguo Zheng, Mei Zhang|arXiv (Cornell University)|2019. 10. 22.

Semantic Web and Ontologies참고 문헌 22인용 수 7

한 줄 요약

이 논문은 자연어 질문으로부터 구조적 질의 패턴(SQPs)을 사용하여 지식 그래프 위에서 질문에 대한 답변을 제안하는 새로운 프레임워크를 제안한다. SQPs는 질의 그래프를 자연어 질문으로부터 구성하는 데 지침을 제공한다. 질의 스케치를 생성하고 SQP에 기반한 노드 및 엣지 레이블링을 통해 이를 완성함으로써, 이 방법은 벤치마크 데이터셋에서 기존의 의미 해석 및 템플릿 기반 접근 방식을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Natural language question answering over knowledge graphs is an important and interesting task as it enables common users to gain accurate answers in an easy and intuitive manner. However, it remains a challenge to bridge the gap between unstructured questions and structured knowledge graphs. To address the problem, a natural discipline is building a structured query to represent the input question. Searching the structured query over the knowledge graph can produce answers to the question. Distinct from the existing methods that are based on semantic parsing or templates, we propose an effective approach powered by a novel notion, structural query pattern, in this paper. Given an input question, we first generate its query sketch that is compatible with the underlying structure of the knowledge graph. Then, we complete the query graph by labeling the nodes and edges under the guidance of the structural query pattern. Finally, answers can be retrieved by executing the constructed query graph over the knowledge graph. Evaluations on three question answering benchmarks show that our proposed approach outperforms state-of-the-art methods significantly.

연구 동기 및 목표

• 비구조적인 자연어 질문과 구조적인 지식 그래프 간의 다리를 놓는 데 도전한다.
• 의미 해석(예: 높은 레이블 비용, 구조적 불일치)과 템플릿 기반 방법(예: 커버리지 제한, 확장성 낮음)의 한계를 극복한다.
• 질의 의도를 포착하면서도 지식 그래프의 구조에 쉽게 기반을 두는 표현 방식을 설계한다.
• 확장 가능한 질문에 대한 답변 시스템을 위해 높은 완전성과 낮은 구축 비용을 확보한다.

제안 방법

• 전체 논리 형태 파싱이 필요하지 않은, 질문의 구조적 의도를 포착하는 새로운 표현으로서의 구조적 질의 패턴(SQPs)을 도입한다.
• 지식 그래프의 스키마와 토폴로지에 맞는 질의 스케치를 입력 질문에서 생성한다.
• SQP 가이드에 따라 노드와 엣지를 레이블링하여 질의 그래프를 완성함으로써 지식 그래프의 구조적 일관성을 확보한다.
• 주어진 질문에 대해 가장 관련성이 높은 SQP를 예측하기 위해 앙상블 모델(RNN-Attention + Text-CNN)을 적용한다.
• 제약 조건 증강을 통해 최종 질의 그래프를 정밀하게 다듬고 정답 정확도를 향상시킨다.
• 경험적 평가에 기반해 안정적인 성능을 보여주는 바, 반환할 SQPs의 수(k)를 2로 설정한다.

실험 결과

연구 질문

• RQ1 구조적 질의 패턴은 자연어 질문의 구조적 의도를 이해하기 쉬우면서도 지식 그래프에 기반을 두는 방식으로 효과적으로 표현할 수 있는가?
• RQ2 제안된 SQP 기반 방법은 지식 그래프 질문에 대한 답변에서 기존의 의미 해석 및 템플릿 기반 접근 방식과 비교해 성능 면에서 어떻게 다른가?
• RQ3 엔티티 링킹 및 SQP 예측 오류가 전체 시스템 정확도에 미치는 영향은 어느 정도인가?
• RQ4 질의 그래프 구축에서 최적의 성능을 얻기 위해 반환할 후보 SQPs의 수(k)는 얼마여야 하는가?

주요 결과

• 제안된 방법 qaSQP는 LC-QuAD에서 F1 점수 0.463을 기록하여, STAGG 및 템플릿 기반 시스템을 포함한 모든 베이스라인 방법을 능가한다.
• SQP 예측을 위한 앙상블 모델은 QALD-8에서 F1 점수 0.84, QALD-9에서 0.82를 기록하여 개별 모델(RNN-Attention 및 Text-CNN)을 모두 능가한다.
• 정확한 구조적 질의 패턴 제공(qaSQP-CP)은 성능 향상이 미미한 것으로 나타나, 시스템의 SQP 예측 정확도가 이미 매우 높다는 것을 시사한다.
• 정확한 엔티티 링킹(qaSQP-CE)은 qaSQP-CP보다 성능 향상이 뚜렷하게 나타나, 엔티티 링킹이 SQP 인식보다 주요 성능 저하 요인임을 시사한다.
• k=2 또는 k=3일 경우 성능이 안정화됨을 확인하여, 정밀도와 재현율의 최적의 균형을 고려해 기본 설정으로 k=2로 설정한다.
• 오류의 17%는 질의 그래프 확장 단계에서 잘못된 레이블 할당 때문이며, 29%는 엔티티 링킹 실패 때문이므로 향후 개선이 필요한 핵심 영역임을 확인한다.