[논문 리뷰] Semantic Structure based Query Graph Prediction for Question Answering over Knowledge Graph

Mingchen Li, Jonathan Shihao Ji|arXiv (Cornell University)|2022. 04. 15.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 지식 그래프 질의 응답(KGQA)에서 질의 그래프 예측을 위한 의미 구조 기반 프레임워크인 SSKGQA를 제안한다. 의미 구조 기반 BERT(Structure-BERT) 모델을 도입하여 질문을 여섯 가지 사전 정의된 의미 구조로 분류함으로써, SSKGQA는 순서가 뒤죽박게 된 후보 질의 그래프를 걸러내고, BERT 기반의 랭킹 모델을 사용해 남은 그래프들을 랭킹함으로써 MetaQA 및 WebQuestionsSP 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Building query graphs from natural language questions is an important step in complex question answering over knowledge graph (Complex KGQA). In general, a question can be correctly answered if its query graph is built correctly and the right answer is then retrieved by issuing the query graph against the KG. Therefore, this paper focuses on query graph generation from natural language questions. Existing approaches for query graph generation ignore the semantic structure of a question, resulting in a large number of noisy query graph candidates that undermine prediction accuracies. In this paper, we define six semantic structures from common questions in KGQA and develop a novel Structure-BERT to predict the semantic structure of a question. By doing so, we can first filter out noisy candidate query graphs, and then rank the remaining candidates with a BERT-based ranking model. Extensive experiments on two popular benchmarks MetaQA and WebQuestionsSP (WSP) demonstrate the effectiveness of our method as compared to state-of-the-arts.

연구 동기 및 목표

• 복잡한 KGQA에서 전통적인 열거 방법에 의해 생성되는 후보 질의 그래프의 높은 노이즈 문제를 해결하기 위해.
• 자연어 질문으로부터 의미 구조 정보를 활용해 질의 그래프 예측 정확도를 향상시키기 위해.
• 다중 힙 및 제약 조건이 있는 추론에서 오류 전파를 줄이기 위해 파ip라인의 초기 단계에서 의미적으로 잘못된 질의 그래프를 걸러내기 위해.
• 사전 훈련된 BERT 표현 위에 다중 헤드 어텐션 레이어를 추가한 BERT 기반 모델을 사용해 랭킹 성능을 향상시키기 위해.
• KGQA에서 질문의 의미 구조 분류를 위한 확장 가능하고 정확한 방법을 개발하기 위해.

제안 방법

• MetaQA 벤치마크에서 흔히 볼 수 있는 다중 힙 및 제약 기반 추론과 같은 일반적인 질문 구조 유형을 기반으로 여섯 가지 의미 구조를 정의한다.
• 질문과 주제 엔티티를 함께 인코딩하여 의미 구조를 예측하는 BERT 기반 분류기인 Structure-BERT를 제안한다.
• 예측된 의미 구조를 사용해 예상 구조와 일치하지 않는 후보 질의 그래프를 걸러낸다.
• 질문과 후보 질의 그래프 표현 간의 유사도를 비교하기 위해 트리플릿 손실을 사용하는 BERT 기반 랭킹 모델을 적용한다.
• 입력 시퀀스 내의 의미적 관계를 더 잘 포착하기 위해 BERT 표현에 추가적인 다중 헤드 어텐션 레이어를 강화한다.
• 유사도 학습을 향상시키기 위해 음성 샘플링과 트리플릿 손실을 사용해 랭킹 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 의미 구조 예측이 KGQA에서 노이즈가 많은 후보 질의 그래프의 수를 상당히 줄일 수 있는가?
• RQ2 질문과 주제 엔티티를 함께 인코딩하는 BERT 기반 모델이 의미 구조 분류에 얼마나 효과적인가?
• RQ3 예측된 의미 구조에 기반해 후보 질의 그래프를 걸러내는 것이 후속 랭킹 정확도를 향상시키는가?
• RQ4 추가 어텐션 레이어를 가진 BERT 기반 랭킹 모델이 표준 BERT 및 기존 모델(CNN, BiGRU)보다 성능이 뛰어나지 않는가?
• RQ5 제시된 방법이 MetaQA 및 WebQuestionsSP와 같은 다양한 질문 유형의 벤치마크에서 얼마나 일반화되는가?

주요 결과

• MetaQA에서 Structure-BERT는 힙-1, 힙-2, 힙-3 질문에 대해 각각 99.24%, 99.87%, 99.73%의 분류 정확도를 기록했다.
• WebQuestionsSP 벤치마크에서 Structure-BERT는 클래스 불균형과 데이터 부족에도 불구하고 86.97%의 정확도를 기록하여 강력한 일반화 능력을 보였다.
• 추가 다중 헤드 어텐션 레이어를 가진 BERT 기반 랭킹 모델(BERT*)은 WebQuestionsSP에서 Hits@1이 71.40%를 기록하여 표준 BERT 및 기타 기준 모델을 초월했다.
• 제안된 SSKGQA 프레임워크는 MetaQA 및 WebQuestionsSP 양쪽에서 최신 기술 수준(SOTA) 성능을 달성했으며, 일곱 가지 SOTA 방법을 뛰어넘었다.
• 제거 분석 결과, 추가 어텐션 레이어와 음성 샘플링 전략이 랭킹 성능 향상에 크게 기여하는 것으로 확인되었다.
• 의미적으로 관련은 있지만 구조적으로 잘못된 대안이 존재하는 상황에서도 정확한 그래프의 랭킹이 향상됨으로써, 구조적으로 잘못된 후보의 영향을 줄이는 데 성공했다.