[논문 리뷰] Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation

Ji Ma, Ivan Korotkov외 3명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 59인용 수 6

한 줄 요약

이 논문은 대규모 감독 학습 코퍼스가 필요 없도록 도메인 맞춤 합성 질문 생성을 사용한 제로샷 신경 문장 검색 방법을 제안한다. 일반 도메인 데이터에서 미리 훈련된 질문 생성 모델을 활용하여 대상 도메인 문서에 적용함으로써, 훈련을 위한 광범위하고 노이즈가 있지만 도메인 특화된 질문-문서 쌍을 생성한다. 주요 기여는 BM25와 합성 신경 검색기를 조합한 하이브리드 모델로, 특히 과학 문헌과 같은 전문 도메인에서 감독 학습 모델에 가까운 성능을 달성한다.

ABSTRACT

A major obstacle to the wide-spread adoption of neural retrieval models is that they require large supervised training sets to surpass traditional term-based techniques, which are constructed from raw corpora. In this paper, we propose an approach to zero-shot learning for passage retrieval that uses synthetic question generation to close this gap. The question generation system is trained on general domain data, but is applied to documents in the targeted domain. This allows us to create arbitrarily large, yet noisy, question-passage relevance pairs that are domain specific. Furthermore, when this is coupled with a simple hybrid term-neural model, first-stage retrieval performance can be improved further. Empirically, we show that this is an effective strategy for building neural passage retrieval models in the absence of large training corpora. Depending on the domain, this technique can even approach the accuracy of supervised models.

연구 동기 및 목표

• 전문 도메인에서 대규모 레이블된 훈련 데이터 없이 고성능 신경 문장 검색 모델을 훈련하는 데 도전한다.
• 일반 도메인에서 미리 훈련된 모델이 과학 문헌, 여행 포럼, 기술 포럼와 같은 전문 도메인으로의 전이 성능이 떨어지는 문제를 해결한다.
• 제로샷 훈련을 위한 합성 질문-문서 관련성 쌍을 생성하는 확장 가능한 데이터 증강 전략을 개발한다.
• 하이브리드 모델을 통해 어휘 기반(BM25)과 신경 검색을 조합함으로써 제1단계 검색 성능을 향상시킨다.
• 실세계 도메인에서 제로샷 모델이 감독 학습 모델에 근접한 성능을 낼 수 있음을 입증하며, 특히 하이브리드 스코어링과 조합했을 때 성능 향상이 두드러진다.

제안 방법

• SQuAD나 커뮤니티 플랫폼에서 유래한 일반 도메인 질문-답변 쌍(예: SQuAD)을 기반으로 사전 훈련된 질문 생성 모델을 미세조정한다.
• 훈련된 질문 생성 모델을 대상 도메인의 문장에 적용하여 대규모로 합성된 질문-문서 쌍을 생성한다.
• 약한 지도 학습으로서 합성된 도메인 특화 질문-문서 쌍을 사용하여 신경 문장 검색 모델을 훈련시킨다.
• 유사도 스코어링을 위해 벡터 표현을 조합하는 방식으로 BM25와 신경 검색기를 통합한 하이브리드 검색 모델을 구성한다.
• 하이브리드 모델의 벡터 스코어를 기반으로 효율적으로 상위-k 문장을 검색하기 위해 근사 최근접 이웃(ANN) 검색을 사용한다.
• BioASQ, NaturalQuestions 및 도메인 특화 코퍼스를 포함한 대상 도메인 벤치마크에서 표준 정보 검색 메트릭(MAP, P@10, nDCG@10)을 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 일반 도메인에서 사전 훈련된 모델의 합성 질문 생성이 제로샷 문장 검색에 있어 전문 도메인에 효과적으로 적용될 수 있는가?
• RQ2 과학 문헌이나 여행 포럼와 같은 전문 도메인에서 제로샷 신경 검색기의 성능이 감독 학습 기반 베이스라인과 비교해 어떻게 되는가?
• RQ3 BM25와 신경 검색기를 조합함으로써, 레이블된 데이터가 없을 경우 검색 정확도가 얼마나 향상되는가?
• RQ4 최적의 성능를 달성하기 위해 얼마나 많은 합성 훈련 데이터가 필요한가? 그리고 모델은 암기 외에 일반화 가능한가?
• RQ5 검색 성능는 질문 생성기의 품질에 얼마나 민감한가? 더 큰 생성기가 더 나은 결과를 낼까?

주요 결과

• 제안된 합성 질문 생성 방법은 과학 문헌, 여행, 기술 포럼와 같은 세 가지 전문 도메인과 한 가지 일반 도메인에서 제로샷 문장 검색 성능을 크게 향상시켰다.
• BM25 + 신경 모델의 하이브리드 모델(QGenHyb)은 BioASQ7에서 MAP 39.3을 기록하여 BM25(36.3)와 단독 신경 모델(QGen, 28.4)을 모두 초월했다.
• BioASQ8 문서 검색에서 QGenHyb 모델은 MAP 39.2를 기록하여 감독 학습 모델의 성능(예: QGenHyb → 재평가자 사용 시 40.4)에 근접했다.
• 합성 질의 생성에 사용된 대상 코퍼스의 20% 수준에서 성능가 장기적으로 안정되어 있어 암기 외 일반화된 성능임을 시사하며, 기준 문장의 21%가 커버되었다.
• 더 큰 질문 생성기는 생성 품질(Rouge 점수)을 향상시키지만, 검색 성능에 미치는 영향은 미미하여, 도메인 특화 데이터의 양이 생성기 크기보다 더 중요함을 시사한다.
• BM25가 약한 NaturalQuestions에서는 제로샷 모델과 감독 학습 모델 간의 성능 격차가 커지며, 제로샷 성능가 데이터 및 도메인에 따라 달라짐을 시사한다.