[논문 리뷰] WikiPassageQA: A Benchmark Collection for Research on Non-factoid Answer Passage Retrieval

Daniel J. Cohen, Yang Liu외 1명|arXiv (Cornell University)|2018. 05. 10.

Topic Modeling참고 문헌 17인용 수 13

한 줄 요약

이 논문은 위키백과 문서에서 유래한 4,165개의 비사실형 질문을 포함하고 있으며, 각 질문에 대해 길이가 다양한 정답 문단이 주석 처리된 대규모 벤치마크 데이터셋인 WikiPassageQA를 소개한다. 이 데이터셋은 신경망 및 전통적인 정보 검색 모델의 정답 문단 검색 성능 평가를 가능하게 하며, 존재하는 신경망 아키텍처가 더 긴 문단에서 어려움을 겪는 것으로 드러나고, 메모리 증강 CNN-LSTM 모델이 모든 기준 모델을 앞서는 결과를 보이며 비사실형 문단 검색의 고유한 과제를 부각시킨다.

ABSTRACT

With the rise in mobile and voice search, answer passage retrieval acts as a critical component of an effective information retrieval system for open domain question answering. Currently, there are no comparable collections that address non-factoid question answering within larger documents while simultaneously providing enough examples sufficient to train a deep neural network. In this paper, we introduce a new Wikipedia based collection specific for non-factoid answer passage retrieval containing thousands of questions with annotated answers and show benchmark results on a variety of state of the art neural architectures and retrieval models. The experimental results demonstrate the unique challenges presented by answer passage retrieval within topically relevant documents for future research.

연구 동기 및 목표

• 주제적으로 관련된 문서에서 비사실형 정답 문단 검색을 위한 대규모 공개 벤치마크 데이터셋의 부족을 해결하기 위해.
• 문단 수준의 정답 검색 맥락에서 딥 네트워크를 훈련하고 평가하기에 적합한 자원을 제공하기 위해.
• 전통적인 정보 검색 모델과 신경망 아키텍처를 비사실형 QA 작업에서 비교할 수 있는 표준 벤치마크를 수립하기 위해.
• 단일 문장보다 길지만 전체 문서보다 짧은 정답 문단을 검색하는 데 있어 고유한 과제를 부각하기 위해.
• 장문의 맥락이 풍부한 정답 문단을 위한 특화된 신경망 기반 정보 검색 모델 연구를 지원하기 위해.

제안 방법

• 4,165개의 비사실형 질문은 아마존 메카니컬 터크를 활용해 863개의 위키백과 문서에서 생성되었으며, 정답 문단의 시작 및 끝 위치가 주석 처리되었다.
• 질문들은 이전 컬렉션인 WebAP에서 사용된 넓은 범위의 질문들과는 달리 집중적인 정보 필요성을 반영하도록 생성되었다.
• 데이터셋은 3,332개의 훈련, 417개의 개발, 416개의 테스트 질문으로 나뉘었으며, 문서 수준의 분할을 유지하여 현실적인 평가를 보장했다.
• TF-IDF, BM25, 쿼리 가능성, 그리고 다섯 가지 딥 네트워크 모델(일반적인 LSTM, CNN+TF, LSTM-CNN+TF, 문자-단어-CNN-LSTM, 메모리-증강-CNN-LSTM-TF)을 평가하였다.
• 메모리-증강-CNN-LSTM-TF 모델은 문단 내 문장 간의 유사도를 반복적으로 업데이트하는 doc2vec 기반 메모리 텐서를 사용하며, 어간 빈도 및 생성 확률를 통합한다.
• 평가에는 평균 평균 정확도(MAP) 및 정규화된 할인 누적 수익(nDCG)과 같은 표준 정보 검색 지표를 사용하였으며, 결과는 테스트 세트에서 보고되었다.

실험 결과

연구 질문

• RQ1 기존의 정보 검색 모델은 신경망 모델에 비해 비사실형 정답 문단 검색에서 어떻게 성능을 내는가?
• RQ2 기존의 신경망 아키텍처는 평균 길이가 142.7 토큰에 이르는 장문의 정답 문단에 적용되었을 때 어떤 성능 한계를 보이는가?
• RQ3 메모리 증강 신경망은 표준 RNN 또는 CNN보다 장거리 의존성을 더 잘 모델링할 수 있는가?
• RQ4 WebAP 및 SQuAD와 같은 기존 데이터셋에 비해 WikiPassageQA의 규모와 품질은 딥 러닝 연구 지원에 얼마나 유리한가?
• RQ5 비사실형 정답 문단 검색은 사실형 QA나 문장 수준의 검색 작업에서 포착되지 않는 어떤 고유한 과제를 내포하고 있는가?

주요 결과

• 메모리-증강-CNN-LSTM-TF 모델이 WikiPassageQA에서 가장 높은 성능을 기록하며, 모든 전통적인 정보 검색 모델과 다른 신경망 아키텍처를 앞섰다.
• Query Likelihood(QL)과 같은 전통적인 정보 검색 모델이 경쟁적인 성능을 보였으며, 다섯 개의 신경망 모델 중 네 개를 앞서는 결과를 보여, 이 작업의 강력한 기준 모델임을 시사한다.
• CNN+TF 모델은 BM25 기준 모델을 초월하지 못했으며, 이는 표준 CNN 기반 아키텍처가 이 정도 해상도의 문단 수준 검색에 일반화하기 어려운 것을 시사한다.
• WikiPassageQA의 정답 문단 평균 길이는 142.7 토큰으로, 이는 이전의 신경망 모델이 주로 타겟으로 삼는 약 50토큰의 문단보다 훨씬 길며, 일반화 과제의 핵심 요소임을 강조한다.
• 이 데이터셋의 크기(4,165개의 질문)와 주석 품질은 딥 네트워크 훈련에 적합하며, 기존의 벤치마크에서의 핵심 격차를 메운다.
• 결과는 비사실형 질문의 정답 문단 검색이 사실형 또는 문장 수준의 QA에서 나타나지 않는 고유한 과제를 내포하고 있으며, 특히 장문의 맥락이 풍부한 정답 스펜을 모델링하는 데 어려움이 있음을 입증한다.