[논문 리뷰] Bio-SODA: Enabling Natural Language Question Answering over Knowledge Graphs without Training Data

Ana Claudia Sima, Tarcisio Mendes de Farias외 5명|arXiv (Cornell University)|2021. 04. 28.

Semantic Web and Ontologies참고 문헌 33인용 수 16

한 줄 요약

Bio-SODA는 레이블링된 질문-답변 쌍이 필요 없이 지식 그래프에서 자연어 질의 응답을 수행하는 훈련 불필요 시스템으로, 그래프 기반 매칭 방식과 노드 중심성(예: PageRank)을 통합한 신규 순위 알고리즘을 사용해 SPARQL 쿼리를 생성한다. 복잡한 과학적 지식 그래프(예: 생물정보학 및 유럽연합 프로젝트 데이터셋 포함)에서 최신 기술 대비 F1 점수 20% 향상 달성.

ABSTRACT

The problem of natural language processing over structured data has become a growing research field, both within the relational database and the Semantic Web community, with significant efforts involved in question answering over knowledge graphs (KGQA). However, many of these approaches are either specifically targeted at open-domain question answering using DBpedia, or require large training datasets to translate a natural language question to SPARQL in order to query the knowledge graph. Hence, these approaches often cannot be applied directly to complex scientific datasets where no prior training data is available. In this paper, we focus on the challenges of natural language processing over knowledge graphs of scientific datasets. In particular, we introduce Bio-SODA, a natural language processing engine that does not require training data in the form of question-answer pairs for generating SPARQL queries. Bio-SODA uses a generic graph-based approach for translating user questions to a ranked list of SPARQL candidate queries. Furthermore, Bio-SODA uses a novel ranking algorithm that includes node centrality as a measure of relevance for selecting the best SPARQL candidate query. Our experiments with real-world datasets across several scientific domains, including the official bioinformatics Question Answering over Linked Data (QALD) challenge, show that Bio-SODA outperforms publicly available KGQA systems by an F1-score of least 20% and by an even higher factor on more complex bioinformatics datasets.

연구 동기 및 목표

• 기존 신경망 기반 지식 그래프 질의 응답 시스템의 훈련 데이터 부족 문제를 해결하기 위해.
• 레이블링된 질문-답변 쌍이 없이도 복잡한 실제 과학적 지식 그래프에서 정확한 제로샷 질의 응답을 가능하게 하기 위해.
• 문자 유사도, 의미 유사도, 노드 중심성을 결합해 더 나은 후보 순위 매기기를 위한 SPARQL 쿼리 생성을 향상시키기 위해.
• 최소한의 수동 설정과 높은 확장성으로 다양한 과학 분야로의 일반화를 지원하기 위해.
• 개념 매칭, 쿼리 구성, 결과 해석 단계를 안내함으로써 설명 가능성 향상시키기 위해.

제안 방법

• Bio-SODA는 자연어 질문을 지식 그래프의 엔티티와 관계와 매칭하기 위해 그래프 기반 접근법을 사용하며, 이러한 매칭 결과로부터 후보 SPARQL 쿼리를 구성한다.
• 질문 토큰과 지식 그래프 요소 간의 문자 수준 및 의미 유사도를 조합한 하이브리드 유사도 측정 방식을 적용한다.
• 노드 중심성(예: PageRank)을 관련성 신호로 통합한 새로운 순위 알고리즘을 도입해 의미적으로 타당한 쿼리 후보를 우선순위 정렬한다.
• 시스템은 레이블, 설명과 같은 특정 속성에 대해 구성 가능한 검색을 지원하며, 전체 개요 등 긴 또는 중복된 필드는 제외한다.
• 사용자 안내나 사전 학습 모델 없이도 최대 10개 이상의 삼중항 패턴을 포함한 복잡한 쿼리 처리가 가능하다.
• 엔티티 연결 및 쿼리 그래프 구성 파이프라인을 포함하며, 설명 가능성 향상을 위해 의미 있는 변수 이름을 사용해 결과를 시각화한다.

실험 결과

연구 질문

• RQ1 레이블링된 훈련 데이터에 의존하지 않고도 과학적 지식 그래프에서 높은 성능을 달성할 수 있는 지식 그래프 질의 응답 시스템이 존재할 수 있는가?
• RQ2 노드 중심성이 자연어 질문에 대한 SPARQL 쿼리 후보 순위 매기기에서 관련성 신호로써 얼마나 효과적인가?
• RQ3 그래프 기반 비신경 기반 접근법이 실제 과학 데이터셋에서 기존 신경 기반 지식 그래프 질의 응답 시스템을 얼마나 뛰어넘을 수 있는가?
• RQ4 정확하지 않거나 긴 레이블을 가진 과학 지식 그래프에서 모호함과 중복성을 어떻게 다루는가?
• RQ5 최소한의 설정으로 다양한 과학 분야로의 일반화가 가능한가?

주요 결과

• Bio-SODA는 실제 과학 지식 그래프에서 공개된 지식 그래프 질의 응답 시스템 대비 최소 20% 향상된 F1 점수를 달성했으며, 특히 생물정보학 데이터셋에서는 더 큰 향상을 보였다.
• 노드 중심성을 순위 함수에 통합함으로써 결과 품질이 크게 향상되었으며, 특히 레이블 중복이나 정확하지 않은 용어를 가진 데이터셋에서 두드러진다.
• 최대 10개 이상의 삼중항 패턴을 포함한 복잡한 쿼리 처리가 가능하여, 단순한 두세 개의 삼중항 쿼리 이상의 복잡성에서도 뛰어난 내구성을 입증했다.
• QALD-4 및 CORDIS 데이터셋에서 Bio-SODA는 훈련 데이터가 전혀 없는 딥러닝 기반 시스템을 포함한 기존 오픈소스 시스템을 뛰어넘었다.
• 의료, 유전자 동족성, EU 자금 지원 프로젝트 지식 그래프를 포함한 다양한 분야에서 뛰어난 일반화 능력을 보였으며, 설정 최소화로도 성능 유지를 하였다.
• 한계점으로는 ASK 쿼리 처리가 잘못되어 결과를 불린 값으로 반환하는 점이 있으며, 저자들은 이를 향후 질문 유형 분류기 도입을 통해 개선할 계획으로 제시한다.