[논문 리뷰] CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases

Dung Thai, Srinivas Ravishankar외 8명|arXiv (Cornell University)|2022. 04. 18.

Topic Modeling인용 수 8

한 줄 요약

CBR-iKB는 완전하지 않은 지식 기반에 대한 질의 응답을 위한 사례 기반 추론 기반 접근법을 제안하며, 추론 체인의 k-최근접 이웃 검색과 비모수적 추론 알고리즘을 활용해 다수의 추론 경로를 앙상블한다. 이는 태스크에 특화된 미세조정 없이도 MetaQA에서 100%의 정확도와 WebQSP에서 70%의 정확도를 달성하며, 기존 최고 성능 대비 22.3% 높은 성능을 보였다.

ABSTRACT

Knowledge bases (KBs) are often incomplete and constantly changing in practice. Yet, in many question answering applications coupled with knowledge bases, the sparse nature of KBs is often overlooked. To this end, we propose a case-based reasoning approach, CBR-iKB, for knowledge base question answering (KBQA) with incomplete-KB as our main focus. Our method ensembles decisions from multiple reasoning chains with a novel nonparametric reasoning algorithm. By design, CBR-iKB can seamlessly adapt to changes in KBs without any task-specific training or fine-tuning. Our method achieves 100% accuracy on MetaQA and establishes new state-of-the-art on multiple benchmarks. For instance, CBR-iKB achieves an accuracy of 70% on WebQSP under the incomplete-KB setting, outperforming the existing state-of-the-art method by 22.3%.

연구 동기 및 목표

• 지식 기반(KB)이 불완전하고 자주 업데이트되는 상황에서 지식 기반 질의 응답(KBQA)의 과제를 해결한다.
• 완전한 KB에 의존하고 KB 변경에 대해 미세조정이 필요한 기존의 지도 학습 기반 KBQA 시스템의 한계를 극복한다.
• 부족한 KB 사실로 인해 일부 추론 경로가 적용 불가능하더라도, 유사한 과거 질의로부터 유추 가능한 다수의 타당한 추론 경로를 활용해 강건한 질의 응답을 가능하게 한다.
• 재학습이나 미세조정 없이도 KB 업데이트에 유연하게 대응할 수 있는 비모수적, 인스턴스 기반 방법을 설계한다.
• 다양한 추론 경로를 통한 결합 의사결정을 통해 자원이 적고 희박한 지식 기반 환경에서의 일반화 및 강건성을 향상시킨다.

제안 방법

• 질의와 그에 해당하는 추론 경로(질의 엔티티에서 답변으로의 경로)의 사례 기반 데이터베이스를 유지한다.
• 새로운 질의에 대해 질문 임bedding 기반으로 k-최근접 이웃(k-NN) 추론 경로를 밀도 기반 검색기(dense retriever)를 통해 찾는다.
• 기존의 추론 경로에서 유사한 경로를 생성할 수 있는 새로운 비모수적 추론 알고리즘을 적용하여, 부족한 KB 사실에 대응한다.
• 각 추론 경로가 예측한 답변에 점수를 기여하고, 최종 예측은 다수결 투표 기반으로 결정되는 투표 메커니즘을 활용한다.
• 추론 경로의 품질을 향상시키기 위해 추론 중에 잘못된 경로를 걸러내는 '수정 및 유지(revise and retain)' 단계를 통합한다.
• 검색 과정에서 질문 임bedding 내의 엔티티 명을 마스킹하여 이웃성 유사도와 경로 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 과거 추론 경로의 k-최근접 이웃 검색을 통한 사례 기반 추론이 불완전한 지식 기반 환경에서의 질의 응답 강건성 향상에 기여하는가?
• RQ2 핵심 KB 사실이 누락된 상황에서 비모수적 추론 알고리즘이 타당한 추론 경로를 얼마나 효과적으로 생성하는가?
• RQ3 단일 예측 경로에 의존하는 것과 비교해 다수의 추론 경로를 앙상블함으로써 정확도가 얼마나 향상되는가?
• RQ4 질문 임bedding 내 엔티티 명을 마스킹하면 검색 품질과 후속 추론 경로의 일관성에 어떤 영향을 미치는가?
• RQ5 비모수적, 인스턴스 기반 방법이 자원이 적고 동적인 지식 기반 환경에서 모수적, 미세조정 기반 모델을 능가할 수 있는가?

주요 결과

• CBR-iKB는 모든 테스트 설정, 특히 불완전한 KB 조건 하에서도 MetaQA 벤치마크에서 100%의 정확도를 달성한다.
• 반수 샘플링된 KB를 사용한 WebQSP에서 CBR-iKB는 70%의 정확도를 기록하며, 이는 이전 최고 성능 대비 22.3% 높은 성능이다.
• MetaQA에서는 '수정 및 유지' 단계가 매우 중요하여, 유사하지만 잘못된 추론 경로의 99.9%를 걸러내지만, WebQSP의 경우 개발 세트 크기가 작아서 영향이 덜하다.
• 질문 임bedding 내 엔티티 명을 마스킹하면, 마스킹되지 않은 버전 대비 금본 기준 추론 경로의 검색 일관성이 향상된다.
• CBR-iKB는 전체 KB 기반 WebQSP에서도 강력한 성능 유지를 보이며, 이는 기존 방법 대비 각각 1.6%와 8.3% 향상된 결과로, KB가 점점 희박해질수록 텍스트 정보의 가치가 더 커지는 것을 시사한다.
• 이 방법은 본질적으로 적응형이다: 새로운 KB 사실은 재학습이나 미세조정 없이도 자동으로 추론 경로에 통합된다.