[논문 리뷰] A Complex KBQA System using Multiple Reasoning Paths

Kechen Qin, Yu Wang외 5명|arXiv (Cornell University)|2020. 05. 22.

Natural Language Processing Techniques참고 문헌 22인용 수 5

한 줄 요약

이 논문은 경로 애너테이션을 필요로 하지 않고 다수의 추론 경로를 활용하는 엔드 투 엔드 KBQA 시스템을 제안한다. 경로를 잠재 변수로 모델링하고, 확률 최적화를 위한 마진화된 목적함수를 최적화함으로써 성능을 향상시킨다. 이 방법은 WQSP, CWQ, PQL에서 다중 홉 및 복잡한 질문에 대해 뛰어난 성능을 기록하며, 단일 경로 기반 베이스라인을 능가한다. 특히 다양한 추론 경로가 필요한 질문에서 두각을 나타낸다.

ABSTRACT

Multi-hop knowledge based question answering (KBQA) is a complex task for natural language understanding. Many KBQA approaches have been proposed in recent years, and most of them are trained based on labeled reasoning path. This hinders the system's performance as many correct reasoning paths are not labeled as ground truth, and thus they cannot be learned. In this paper, we introduce an end-to-end KBQA system which can leverage multiple reasoning paths' information and only requires labeled answer as supervision. We conduct experiments on several benchmark datasets containing both single-hop simple questions as well as muti-hop complex questions, including WebQuestionSP (WQSP), ComplexWebQuestion-1.1 (CWQ), and PathQuestion-Large (PQL), and demonstrate strong performance.

연구 동기 및 목표

• 기존 KBQA 시스템이 단일 경로 애너테이션에 의존하는 한계를 해결하기 위해, 종종 유효한 대체 경로를 놓치는 문제를 해결한다.
• 경로 애너테이션이 필요 없이 질문-답변 쌍과 엔티티 링크만으로 엔드 투 엔드 학습을 가능하게 한다.
• 다양하고 고질적인 추론 경로에서 학습함으로써 복잡하고 다중 홉 질문에 대한 일반화 능력과 견고성을 향상시킨다.
• 추론 경로를 잠재 변수로 모델링하고, 학습 및 추론 과정에서 더 나은 품질의 경로에 높은 확률을 할당한다.
• 여러 경로에 대한 동시 최적화, 필터링 및 조건부 상호정보량 최대화가 향상된 성능을 이끌어내는지 입증한다.

제안 방법

• 시스템은 추론 경로를 잠재 변수로 모델링하고, 지식 기반에서 가능한 모든 경로에 대해 동시에 최적화하는 마진화된 확률 목적함수를 사용한다.
• 학습 중에는 유효하거나 저품질의 경로(예: 매우 큰 답변 집합을 가진 경로 또는 해석이 어려운 체인)를 걸러내기 위해 미분 가능한 추론 메커니즘을 활용한다.
• 답변 집합 크기와 일관성 기반의 필터링 전략을 사용하여, 그림 1의 p⁷과 같은 너무 광범위하거나 일관성이 없는 경로를 제거한다.
• 단순히 가능도를 최대화하는 대신, 질문과 예측된 답변 사이의 조건부 상호정보량을 최대화함으로써 강한 사전 분포(예: 벤자민 프랭클린 → 발명품)에 의한 편향을 줄인다.
• 이 방법은 아키텍처에 종속되지 않으며, 어떤 KBQA 모델과도 통합되어 다중 경로 추론을 통해 성능을 향상시킬 수 있다.
• 추론 과정에서는 다양한 추론 경로를 출력하며, 더 나은 경로에는 높은 확률을, 타당한 대체 경로들 역시 합리적인 점수로 유지한다.

실험 결과

연구 질문

• RQ1 경로 애너테이션이 필요 없이 다수의 추론 경로를 활용함으로써, 복잡하고 다중 홉 질문에 대해 더 높은 성능을 달성할 수 있는가?
• RQ2 최종 답변만 감독으로 제공될 때, 높은 품질의 경로와 낮은 품질의 경로를 효과적으로 구별할 수 있는가?
• RQ3 가능도 대신 조건부 상호정보량을 최대화함으로써 일반화 능력 향상과 강한 엔티티 사전 분포에 의한 편향 감소가 가능한가?
• RQ4 유효하거나 너무 광범위한 추론 경로를 제거함으로써 모델의 견고성과 정확도가 얼마나 향상되는가?
• RQ5 마진화된 확률 목적함수를 통해 다수의 입력 경로를 고려한 엔드 투 엔드 학습이 다양한 추론 패턴을 포착하면서도 뛰어난 성능을 유지할 수 있는가?

주요 결과

• 모든 필터링되지 않은 추론 경로로 학습할 경우 F1 점수는 3.4% 하락함을 확인하여, 저품질 경로를 제외하기 위한 경로 필터링의 필요성을 입증한다 (k₂ = ∞).
• 가능도 대신 조건부 상호정보량 최대화를 사용할 경우 1.8%의 성능 향상을 기록하며, 특히 강한 엔티티 사전 분포가 있는 질문(예: 벤자민 프랭클린과 결혼)에서 예측 성능 향상이 두드러진다.
• 제안된 마진화된 목적함수와 다중 입력 경로를 사용할 경우, 단일 경로 학습 대비 더 날카로운 확률 분포를 생성하지만, 추론 과정에서 경로 다양성은 유지한다.
• 제거 실험에서, 공동 목적함수와 다중 경로를 사용한 모델은 단일 경로 모델이 한 경로에 확률을 집중시키는 것과 달리, 여러 올바른 경로에 합리적인 확률을 할당한다.
• 모델은 WQSP, CWQ, PQL 세 가지 벤치마크 데이터셋에서 모두 베이스라인 모델을 능가하며, 단일 경로를 초월해 추론이 필요한 복잡한 다중 홉 질문에서 두각을 나타낸다.
• 이 방법은 경로 애너테이션을 필요로 하지 않아 실세계 적용에 실용적이며, 이러한 애너테이션이 비용이 많이 들기 때문에 매우 유의미하다.