[논문 리뷰] A Case Based Reasoning Approach for Answer Reranking in Question Answering

Karl-Heinz Weis|arXiv (Cornell University)|2013. 01. 01.

Topic Modeling참고 문헌 11인용 수 5

한 줄 요약

이 논문은 이전 사용자 질문에서 애너테이션된 MultiNet 그래프를 활용하여 질문-답변 시스템에서 답변 재정렬을 위한 사례 기반 추론(CBR) 접근법을 제안한다. 이는 답변 검증을 향상시키기 위한 것이다. 학습된 정렬 모델에 CBR 유도 특징을 통합함으로써 시스템은 평균 역수 순위(MRR) 0.74를 달성하였으며, 의사결정트리 분할의 42.5%에서 CBR 특징이 사용됨을 보여, 사용자 피드백으로부터의 지속적 학습을 통해 재정렬 정확도가 크게 향상됨을 입증한다.

ABSTRACT

In this document I present an approach to answer validation and reranking for question answering (QA) systems. A cased-based reasoning (CBR) system judges answer candidates for questions from annotated answer candidates for earlier questions. The promise of this approach is that user feedback will result in improved answers of the QA system, due to the growing case base. In the paper, I present the adequate structuring of the case base and the appropriate selection of relevant similarity measures, in order to solve the answer validation problem. The structural case base is built from annotated MultiNet graphs, which provide representations for natural language expressions, and corresponding graph similarity measures. I cover a priori relations to experienced answer candidates for former questions. I compare the CBR System results to current approaches in an experiment integrating CBR into an existing framework for answer validation and reranking. This integration is achieved by adding CBR-related features to the input of a learned ranking model that determines the final answer ranking. In the experiments based on QA@CLEF questions, the best learned models make heavy use of CBR features. Observing the results with a continually growing case base, I present a positive effect of the size of the case base on the accuracy of the CBR subsystem.

연구 동기 및 목표

• 이전 사용자 애너테이션된 답변 후보를 활용하여 개방형 도메인 질문-답변 시스템에서 답변 재정렬을 향상시키기 위해.
• 어휘적 중복을 초월한 의미적 유사성 문제를 해결하기 위해 답변 검증의 어려움을 다루기 위해.
• 사용자 피드백을 통한 사례 기반의 지속적 시스템 개선을 가능하게 하기 위해.
• CBR 특징을 QA를 위한 학습된 정렬 모델에 효과적으로 통합하기 위해.

제안 방법

• 시스템은 독일 위키백과 및 뉴스 코퍼스에서 유도된 구조적 의미 표현인 MultiNet 그래프를 사용하여 질문과 답변 후보를 인코딩한다.
• 이전에 답변된 질문의 애너테이션된 MultiNet 그래프로부터 사례 기반을 구성함으로써 구조적 경험 기반을 형성한다.
• 새로운 질문/답변와 과거 사례 간의 의미적 구조 유사성을 비교하기 위해 그래프 유사도 측정 기준을 정의한다.
• 층위-속성 인식 유사도 계산을 통해 새로운 사례와 과거 사례 간 유사한 부분 그래프를 식별함으로써 CBR 특징을 추출한다.
• 이러한 CBR 특징은 层-속성 인식 유사도 계산을 통해 추출된 특징을 기반으로, 계층적 백킹을 통해 훈련된 순서 최적화 의사결정트리 앙상블 모델의 입력으로 통합된다.
• 최종 답변 순서는 CBR 특징과 딥, 얕은, 검색 기반 특징을 학습-정렬 프레임워크 내에서 조합함으로써 결정된다.

실험 결과

연구 질문

• RQ1 사용자 애너테이션된 이전 답변을 재사용함으로써 사례 기반 추론(CBR)이 개방형 도메인 질문-답변 시스템에서 답변 재정렬을 향상시킬 수 있는가?
• RQ2 MultiNet 표현에 기반한 그래프 유사도 측정 기준이 의미적으로 유사한 질문-답변 쌍을 식별하는 데 얼마나 효과적인가?
• RQ3 CBR 유도 특징이 QA에서 학습된 정렬 모델의 성능에 얼마나 기여하는가?
• RQ4 사례 기반의 크기가 답변 검증에서 CBR 서브시스템의 정확도에 어떤 영향을 미치는가?
• RQ5 의미적으로 동일한 질문과 답변의 다양한 어휘적 형태 간에 MultiNet 그래프의 구조적 유사성이 일반화되는가?

주요 결과

• CBR 특징을 학습-정렬 모델에 통합함으로써 MRR가 0.74에 도달하여, CBR를 포함하지 않은 모델보다 뛰어난 성능을 보였다.
• 100개의 의사결정트리에서 전체 분할 조건의 42.5%에서 CBR 특징이 사용되었으며, 이는 최종 순서 결정에 대한 강력한 영향을 의미한다.
• 가장 뛰어난 성능을 보인 모델(DSC3)은 상위 1 정확도 61%를 달성하여 기준 모델 대비 뚜렷한 향상을 보였다.
• 사례 기반 크기가 CBR 서브시스템 정확도와 정비례 관계를 보이며, 이는 시스템의 지속적 개선 잠재력을 확인한다.
• 시스템은 의미적으로 유사한 질문과 답변에서 가장 잘 작동하며, 완전히 비유사한 경우에서는 성능이 떨어지므로, 주요 과제 영역임을 시사한다.
• MultiNet 그래프와 층-속성 인식 유사도 측정 기준의 사용은 어휘 매칭을 초월한 효과적인 구조적 비교를 가능하게 하여, 견고한 답변 검증을 지원한다.