[논문 리뷰] Neural Passage Retrieval with Improved Negative Contrast

Jing Lü, Gustavo Hernández Ábrego외 3명|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 29인용 수 21

한 줄 요약

이 논문은 신경 문장 검색에서 이중 인코더 모델을 훈련하기 위한 개선된 음성 샘플링 전략—의미 유사도, 어휘 겹침, 히우리스틱 기반 전략—을 제안한다. 사전 훈련 및 미세조정 단계에서 이러한 하드 음성 샘플을 적용함으로써 관련 문장과 관련 없는 문장 간의 대비를 크게 향상시켜 오픈 도메인 QA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 정확도 향상 폭이 0.8–2.9점에 이른다.

ABSTRACT

In this paper we explore the effects of negative sampling in dual encoder models used to retrieve passages for automatic question answering. We explore four negative sampling strategies that complement the straightforward random sampling of negatives, typically used to train dual encoder models. Out of the four strategies, three are based on retrieval and one on heuristics. Our retrieval-based strategies are based on the semantic similarity and the lexical overlap between questions and passages. We train the dual encoder models in two stages: pre-training with synthetic data and fine tuning with domain-specific data. We apply negative sampling to both stages. The approach is evaluated in two passage retrieval tasks. Even though it is not evident that there is one single sampling strategy that works best in all the tasks, it is clear that our strategies contribute to improving the contrast between the response and all the other passages. Furthermore, mixing the negatives from different strategies achieve performance on par with the best performing strategy in all tasks. Our results establish a new state-of-the-art level of performance on two of the open-domain question answering datasets that we evaluated.

연구 동기 및 목표

• 이중 인코더 모델의 문장 검색에서 하드 음성 샘플링의 영향을 체계적으로 평가하는 것.
• 검색 기반 및 히우리스틱 기반 전략으로부터 유도된 하드 음성 샘플이 관련 문장과 관련 없는 문장 간의 대비를 향상시키는지 탐색하는 것.
• 합성 데이터와 골드 레이블 데이터를 사용해 사전 훈련 및 미세조정 단계 모두에 하드 음성 샘플을 통합하는 것이 효과적인지 조사하는 것.
• 다양한 음성 샘플링 전략으로 훈련된 모델을 앙상블함으로써 더 뛰어난 성능을 달성할 수 있는지 확인하는 것.
• 합성 사전 훈련과 함께 하드 음성 샘플링을 통합함으로써 오픈 도메인 질의 응답에서 새로운 최신 기술 수준(SOTA)을 확립하는 것.

제안 방법

• 사전 훈련 단계에서는 질문 생성 모델을 통해 생성된 합성 질문-문장 쌍을 사용하고, 이후 골드 레이블 데이터를 기반으로 한 미세조정 단계를 거치는 이중 단계 훈련 프레임워크를 사용한다.
• 네 가지 다른 하드 음성 샘플링 전략을 적용한다: 굵은/세밀한 의미 유사도, BM25 기반 어휘 겹침, 히우리스틱 기반 컨텍스트 음성 샘플.
• 사전 훈련 및 미세조정 단계 모두에 하드 음성 샘플을 통합하여 긍정 문장과 부정 문장 간의 대비를 향상시킨다.
• BERT 기반 이중 인코더를 사용하여 질문과 문장을 공통된 조밀 벡터 공간에 독립적으로 임bedding한다.
• 하드 음성 샘플을 활용한 대비 학습을 통해 모델이 관련 문장을 더 가까이, 관련이 없는 문장을 더 멀리 배치하도록 최적화한다.
• 다양한 음성 샘플링 전략으로 훈련된 모델을 앙상블하여 상호 보완적 강점을 활용하고 최신 기술 수준(SOTA) 성능을 달성한다.

실험 결과

연구 질문

• RQ1 다양한 하드 음성 샘플링 전략이 문장 검색에서 이중 인코더 모델의 성능에 어떤 영향을 미치는가?
• RQ2 사전 훈련 단계에 하드 음성 샘플을 통합하면 랜덤 음성 샘플보다 모델의 일반화 능력이 향상되는가?
• RQ3 다양한 질문 유형과 도메인(예: NQ 대비 SQuAD)에서 가장 뛰어난 성능을 내는 음성 샘플링 전략은 무엇인가?
• RQ4 여러 음성 샘플링 전략으로 훈련된 모델을 앙상블함으로써 개별 전략보다 성능이 뛰어나지는가?
• RQ5 합성 사전 훈련에 하드 음성 샘플을 통합함으로써 검색 작업에서 고비용 골드 레이블 데이터에 대한 의존도가 얼마나 감소하는가?

주요 결과

• 굵은/세밀한 의미 유사도, BM25 기반, 히우리스틱 기반 컨텍스트 음성 샘플을 포함한 네 가지 하드 음성 샘플링 전략 모두가 사전 훈련 및 미세조정 단계에서 랜덤 음성 샘플보다 모델 성능을 유의미하게 향상시켰다.
• 사전 훈련 및 미세조정 단계 모두에 하드 음성 샘플을 적용함으로써 일관된 성능 향상이 이루어졌으며, 두 단계 모두에서 하드 음성 샘플을 사용할 경우 가장 뛰어난 성능을 달성했다.
• Natural Questions(NQ) 데이터셋에서는 컨텍스트 기반 하드 음성 샘플이 가장 뛰어난 성능을 보였고, 의미 유사도 기반 음성 샘플(굵은 및 세밀한)은 SQuAD에서 다른 전략을 압도했다.
• 다양한 음성 샘플링 전략으로 훈련된 모델을 앙상블함으로써 모든 평가된 작업에서 최신 기술 수준(SOTA) 성능을 달성했으며, 이전 연구 대비 정확도 향상 폭이 0.8–2.9점에 이르렀다.
• 사전 훈련 단계에서 하드 음성 샘플을 제거하면 성능에 심각한 하락이 발생했으며, 이는 합성 사전 훈련 단계에서도 하드 음성 샘플의 가치를 입증한다.
• 사전 훈련 없이 BERT 체크포인트에서 직접 미세조정을 수행한 경우 성능이 심각하게 저하되었으며, 이는 합성 사전 훈련과 함께 하드 음성 샘플을 사용하는 것이 효과적임을 확인한다.