[논문 리뷰] Analysis of Wikipedia-based Corpora for Question Answering

Tomasz Jurczyk, Amit Ajit Deshmane외 1명|arXiv (Cornell University)|2018. 01. 06.

Topic Modeling참고 문헌 2인용 수 6

한 줄 요약

이 논문은 WikiQA, SelQA, SQuAD, InfoboxQA의 네 가지 위키백과 기반 질문-답변 코퍼스에 대한 종합적인 내재적 및 외재적 분석을 수행하며, 질문 유형, 답변 카테고리, 맥락적 유사성 등을 비교한다. 답변 검색 및 트리거링을 위한 실버 표준 데이터셋을 생성하기 위해 색인 기반 방법을 제안하며, 특정 코퍼스에 맞춰 학습된 모델이 통합 학습보다 더 우수한 성능을 보임을 입증한다. 특히 WikiQA와 InfoboxQA의 짧고 질의 유형의 질문에서 두드러진 성능 향상을 보인다.

ABSTRACT

This paper gives comprehensive analyses of corpora based on Wikipedia for several tasks in question answering. Four recent corpora are collected,WikiQA, SelQA, SQuAD, and InfoQA, and first analyzed intrinsically by contextual similarities, question types, and answer categories. These corpora are then analyzed extrinsically by three question answering tasks, answer retrieval, selection, and triggering. An indexing-based method for the creation of a silver-standard dataset for answer retrieval using the entire Wikipedia is also presented. Our analysis shows the uniqueness of these corpora and suggests a better use of them for statistical question answering learning.

연구 동기 및 목표

• 질문 유형, 답변 카테고리, 맥락적 유사성 측면에서 네 가지 주요 위키백과 기반 QA 코퍼스 간 내재적 차이를 이해하기 위해.
• 외재적 벤치마킹을 통해 이러한 코퍼스를 통합하여 통계적 질문-답변 학습에 효과적인지 평가하기 위해.
• 전체 위키백과 색인을 활용하여 답변 검색 및 트리거링을 위한 실버 표준 데이터셋을 개발하고 배포하기 위해.
• 질문 유형(짧은 질의 대비 긴 자연어 질문)에 따라 최적의 학습 코퍼스를 선택하는 데 도움을 주기 위해.
• 코퍼스 간 전이 학습의 한계를 규명하고, 코퍼스별 특성에 맞는 모델 학습 전략을 제안하기 위해.

제안 방법

• 맥락적 유사도, 질문 길이, 답변 카테고리 분포, 어휘 겹침(Ωq, Ωa, Ωf) 등의 지표를 사용해 네 코퍼스의 내재적 분석을 수행한다.
• 전체 위키백과를 색인하여 각 질문에 대해 Lucene을 통해 상위-k 개의 문단을 검색함으로써 답변 검색을 위한 실버 표준 데이터셋을 구축한다.
• 빅램 CNN 모델을 사용해 모든 코퍼스에서 교차 검증 설정에서 답변 선택, 검색, 트리거링을 평가한다.
• 답변 검색 결과를 활용해, 검색된 문단에 답변 맥락이 보장되지 않는 답변 트리거링 데이터셋을 구성한다.
• 단일 및 통합 코퍼스에서 모델을 학습하고 평가하여 데이터셋 간 전이 가능성과 성능 저하 정도를 분석한다.
• 모든 QA 작업에서 매크로 평균 F1, MAP, MRR을 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 네 가지 위키백과 기반 코퍼스는 질문 유형, 답변 카테고리, 맥락적 유사성 측면에서 어떻게 다릅니까?
• RQ2 특정 질문 스타일 간의 차이를 감안할 때, 서로 다른 코퍼스를 통합하여 질문-답변 모델을 학습시키는 데 어떤 영향을 미칩니까?
• RQ3 답변 검색 및 트리거링을 위한 실버 표준 데이터셋을 생성하기 위해 색인 기반 방법이 얼마나 효과적인가요?
• RQ4 왜 통합 코퍼스 학습이 WikiQA나 InfoboxQA와 같은 특정 데이터셋에서 성능을 떨어뜨릴까요?
• RQ5 다양한 질문 유형에 대해 가장 높은 성능을 내는 코퍼스별 학습 전략은 무엇입니까?

주요 결과

• WikiQA는 Lucene 검색에 적합한 어휘적 단서가 부족한 짧고 질의 유형의 질문을 포함하고 있어, 자체 데이터로 학습했을 때 가장 낮은 성능(자체 학습 시 MAP 65.54%)을 보인다.
• SQuAD는 자체 학습 시 가장 높은 MAP(88.84%)와 MRR(89.69%)를 기록하며, 긴 자연어 질문에 대해 뛰어난 성능을 보임을 시사한다.
• W+S+Q 데이터를 통합해 학습하면 SelQA의 성능은 향상되나(W+S+Q 학습 시 MAP 83.19%), WikiQA에서는 성능 저하가 발생함을 확인하여, 코퍼스 간 특성 차이가 전이 가능성에 제한을 둠을 시사한다.
• WikiQA의 답변 검색 정확도는 k=5일 때 12.47%로, SelQA(34%) 및 SQuAD(35%)보다 유의미하게 낮아 짧은 질문과 적은 키워드로 인한 영향을 받음.
• WikiQA에서 답변 트리거링 성능은 F1 30.85%로 가장 낮으며, 이는 낮은 검색 성능 탓이다. 반면, SelQA로 학습한 모델이 다양한 데이터셋으로 일반화 성능이 가장 우수함.
• InfoboxQA는 자체 학습 시 가장 높은 성능(F1 79.44)을 기록하며, 다른 코퍼스와 통합해도 성능 향상가 극히 미미하거나 없어, 매우 높은 특수성(특화성)을 보임.