[논문 리뷰] MultiReQA: A Cross-Domain Evaluation for Retrieval Question Answering Models

Mandy Guo, Yinfei Yang외 3명|arXiv (Cornell University)|2020. 05. 05.

Topic Modeling참고 문헌 30인용 수 1

한 줄 요약

MultiReQA는 공개 데이터셋에서 유래한 여덟 가지 다양한 작업을 포함하는 검색 질의응답(ReQA)을 위한 교차도메인 평가 세트를 소개한다. 연구에서는 지도형 BERT 및 USE-QA 미세조정, 그리고 BM25를 사용하여 검색 모델을 평가하였으며, 도메인 내 미세조정이 도메인 간으로 훈련된 일반화 모델보다 일관되게 뛰어난 성능을 보임을 확인하였다.

ABSTRACT

Retrieval question answering (ReQA) is the task of retrieving a sentence-level answer to a question from an open corpus (Ahmad et al.,2019).This dataset paper presents MultiReQA, a new multi-domain ReQA evaluation suite composed of eight retrieval QA tasks drawn from publicly available QA datasets. We explore systematic retrieval based evaluation and transfer learning across domains over these datasets using a number of strong base-lines including two supervised neural models, based on fine-tuning BERT and USE-QA models respectively, as well as a surprisingly effective information retrieval baseline, BM25. Five of these tasks contain both training and test data, while three contain test data only. Performing cross training on the five tasks with training data shows that while a general model covering all domains is achievable, the best performance is often obtained by training exclusively on in-domain data.

연구 동기 및 목표

• 검색 질의응답(ReQA) 모델을 평가하기 위한 종합적이고 다도메인 기반의 벤치마크를 구축하기 위해.
• 다양한 도메인 간 전이학습의 효과성을 ReQA에서 조사하기 위해.
• 교차도메인 환경에서 지도형 신경망 모델(BERT, USE-QA)과 전통적인 정보검색 기반 모델(BM25)을 비교하기 위해.
• 다양한 도메인에서 훈련된 일반화 모델이 도메인 특화 모델을 능가할 수 있는지 평가하기 위해.
• 도메인 특화 미세조정과 교차도메인 프리트레인을 ReQA 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 여덟 개의 공개된 QA 데이터셋을 활용하여 다도메인 ReQA 평가 세트인 MultiReQA를 구축하기 위해.
• 교차도메인 훈련과 평가를 위해 훈련 및 테스트 분할이 모두 존재하는 다섯 가지 작업을 선정하기 위해.
• 도메인 내 및 교차도메인 훈련 데이터를 사용하여 BERT 및 USE-QA 모델에 지도형 미세조정을 적용하기 위해.
• 비신경 기반 기준 모델로 BM25를 구현하여 비교하기 위해.
• 보류된 테스트 세트를 사용하여 표준 ReQA 메트릭을 활용해 도메인 간 성능을 평가하기 위해.
• 도메인 내 및 교차도메인 훈련 방식 간 성능 차이를 분석하기 위해.

실험 결과

연구 질문

• RQ1 여러 도메인에서 훈련된 단일 일반화 모델이 모든 ReQA 작업에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 검색 정확도 측면에서 도메인 내 미세조정은 교차도메인 훈련보다 어떻게 비교되는가?
• RQ3 교차도메인 ReQA 환경에서 신경망 모델(BERT, USE-QA)과 전통적인 정보검색 방법(BM25) 간 상대적 성능은 어떠한가?
• RQ4 훈련과 테스트가 서로 다른 도메인에서 이루어질 경우 도메인 이동이 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ5 일반화 전처리보다 도메인 특화 훈련 데이터를 사용할 경우 성능 향상이 뚜렷한가?

주요 결과

• 가용 데이터를 바탕으로 다섯 개의 훈련 작업에서 모두 훈련된 일반화 모델은 구현 가능하지만, 일관되게 도메인 특화 모델을 능가하지는 않는다.
• 각 작업에서 가장 뛰어난 성능은 항상 도메인 내 데이터로만 훈련한 경우에 달성된다.
• 기존 정보검색 방법인 BM25는 놀랍게도 뛰어난 성능을 보이며, 일부 작업에서는 신경 기반 기준 모델을 능가한다.
• 미세조정된 BERT 및 USE-QA 모델은 강력한 성능을 보이지만, 도메인 간 전이 시 성능 향상이 제한된다.
• 교차도메인 훈련은 도메인 외 작업에서 성능 저하를 초래하며, 도메인 이동이 여전히 중요한 과제임을 시사한다.
• 결과적으로, ReQA 작업에서는 일반화 전처리보다 도메인 특화 미세조정이 더 효과적임을 시사한다.