[논문 리뷰] Multi-Module System for Open Domain Chinese Question Answering over Knowledge Base

Yiying Yang, Xiahui He외 2명|arXiv (Cornell University)|2019. 10. 28.

Topic Modeling참고 문헌 7인용 수 8

한 줄 요약

이 논문은 정보 검색과 의미 구문 분석을 융합하여 주제 엔티티와 관계를 추출하고, SPARQL 쿼리를 생성하는 다중 모듈 시스템을 제안한다. 엔티티 점수화, BERT 기반 관계 순위 매기기, 규칙 기반 SPARQL 생성을 통합함으로써 CCKS2019 테스트 세트에서 F1 스코어 70.45%를 달성한다.

ABSTRACT

For the task of open domain Knowledge Based Question Answering in CCKS2019, we propose a method combining information retrieval and semantic parsing. This multi-module system extracts the topic entity and the most related relation predicate from a question and transforms it into a Sparql query statement. Our method obtained the F1 score of 70.45% on the test data.

연구 동기 및 목표

• 제한된 훈련 데이터와 복잡한 어휘적 구조를 가진 개방형 중국어 지식 기반 질문 응답을 해결하기 위해.
• 다중 힙 질문에서 엔티티 및 관계 추출의 정확도를 향상시키기 위해.
• 저자원 환경에서 강력한 지식 기반 질문 응답을 위한 검색 기반 및 의미 구문 분석 기반 방법을 융합하기 위해.
• 성별, 시간 제약 조건이 있는 두 힙 및 복잡한 질문 유형을 처리할 수 있는 규칙 인식 SPARQL 생성 파이프라인을 개발하기 위해.

제안 방법

• 주제 엔티티 인식 모듈은 바이두와 파이플린의 하이브리드 NER 모델을 사용하며, 금융 및 비표준 엔티티 유형을 추가로 포함하도록 확장되었다.
• 다섯 가지 기준(길이, 지식 기반 내 외부 차수, 의문어어 근접도, 문자 겹침, 질문과의 단어 겹침)을 사용하여 후보 엔티티를 점수화하는 메커니즘이 사용된다.
• 주제 엔티티의 두 힙 서브그래프 내에서 관계를 순위 매기기 위해 BERT 기반 유사도 모델을 사용하며, 클래스 불균형을 보완하기 위해 오버샘플링을 적용한다.
• 단순-복잡 분류기는 질문이 한 힙인지 두 힙인지 식별하여 SPARQL 쿼리 구조를 안내한다.
• 규칙 기반 SPARQL 생성은 성별, 시간 형식, 두 힙 답변 선택에 대한 제약 조건을 통합하여 올바른 변수 바인딩을 보장한다.
• 학습 중 엔티티는 데이터 편향을 줄이고 일반화 능력을 향상시키기 위해 <e> 토큰으로 대체된다.

실험 결과

연구 질문

• RQ1 의문적 또는 다수의 엔티티가 포함된 개방형 중국어 질문에서 주제 엔티티를 효과적으로 식별하는 방법은 무엇인가?
• RQ2 정확한 SPARQL 쿼리 생성을 위해 두 힙 서브그래프 내에서 관계를 순위 매기는 최적의 방법은 무엇인가?
• RQ3 검색 기반 및 의미 구문 분석 기반 방법을 융합하여 저자원 환경에서의 지식 기반 질문 응답 성능을 향상시키는 방법은 무엇인가?
• RQ4 두 힙 또는 시간 제약 조건이 있는 질문과 같은 복잡한 질문 유형에 대해 SPARQL 쿼리의 정확도를 향상시키는 규칙 기반 전략은 무엇인가?

주요 결과

• 엔티티 점수화 메커니즘에 외부 차수와 유사도 점수를 포함시킴으로써 주제 엔티티 인식 정확도가 베이스라인의 90.3%에서 95.6%로 향상되었다.
• BERT 기반 관계 점수 모델은 관계 순위 매기기에서 95.7%의 정확도를 달성하여 RNN 및 CNN 베이스라인을 크게 능가했다.
• 객체 유사도와 SPARQL 규칙을 추가함으로써 최종 답변 선택에서 개발 세트 정확도가 68%에서 75%로 상승했다.
• 최종 시스템은 CCKS2019 테스트 세트에서 F1 스코어 70.45%를 달성하여 개방형 중국어 지식 기반 질문 응답에서 뛰어난 성능을 입증했다.
• 단순-복잡 분류기는 91%의 정확도를 기록하여 질문을 한 힙 또는 두 힙 SPARQL 템플릿으로 효과적으로 라우팅할 수 있었다.