[논문 리뷰] Optimizing Dense Retrieval Model Training with Hard Negatives

Jingtao Zhan, Jiaxin Mao외 4명|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 31인용 수 11

한 줄 요약

이 논문은 정적 하드 음성 샘플링의 한계를 해결함으로써 밀도 높은 검색 모델을 최적화하기 위해 두 가지 새로운 훈련 전략인 STAR와 ADORE를 제안한다. STAR는 무작위 음성 샘플과 하드 음성 샘플을 조합하여 훈련의 안정성을 향상시키고, ADORE는 훈련 중에 동적으로 하드 음성 샘플을 선택하여 순위 성능을 직접 최적화한다. 이로 인해 벤치마크 데이터셋에서 뛰어난 성능과 뚜렷한 효율성 향상을 달성한다.

ABSTRACT

Ranking has always been one of the top concerns in information retrieval researches. For decades, the lexical matching signal has dominated the ad-hoc retrieval process, but solely using this signal in retrieval may cause the vocabulary mismatch problem. In recent years, with the development of representation learning techniques, many researchers turn to Dense Retrieval (DR) models for better ranking performance. Although several existing DR models have already obtained promising results, their performance improvement heavily relies on the sampling of training examples. Many effective sampling strategies are not efficient enough for practical usage, and for most of them, there still lacks theoretical analysis in how and why performance improvement happens. To shed light on these research questions, we theoretically investigate different training strategies for DR models and try to explain why hard negative sampling performs better than random sampling. Through the analysis, we also find that there are many potential risks in static hard negative sampling, which is employed by many existing training methods. Therefore, we propose two training strategies named a Stable Training Algorithm for dense Retrieval (STAR) and a query-side training Algorithm for Directly Optimizing Ranking pErformance (ADORE), respectively. STAR improves the stability of DR training process by introducing random negatives. ADORE replaces the widely-adopted static hard negative sampling method with a dynamic one to directly optimize the ranking performance. Experimental results on two publicly available retrieval benchmark datasets show that either strategy gains significant improvements over existing competitive baselines and a combination of them leads to the best performance.

연구 동기 및 목표

• 밀도 높은 검색 훈련에서 다양한 음성 샘플링 전략을 이론적으로 분석하고 비교하는 것.
• 광범위하게 사용되지만 불안정하고 최적화가 잘 되지 않는 정적 하드 음성 샘플링의 위험성과 한계를 규명하는 것.
• 무작위 음성 샘플과 하드 음성 샘플을 조합하여 훈련의 강건성을 향상시키는 안정적인 훈련 방법(STAR)을 개발하는 것.
• 훈련 중에 순위 성능을 직접 최적화하는 동적 하드 음성 샘플링 방법(ADORE)을 제안하는 것.
• 기존 최첨단 방법에 비해 더 높은 효과성과 더 높은 훈련 효율성을 동시에 달성하는 것.

제안 방법

• STAR는 어려운 질의에서 성능 붕괴를 줄이고 훈련 과정의 안정성을 향상시키기 위해 무작위 음성 샘플과 하드 음성 샘플을 조합한 하이브리드 손실을 도입한다.
• ADORE는 정적 하드 음성 샘플을 대체로, 현재 모델 파라미터에 기반해 각 훈련 단계에서 재계산되는 동적으로 생성된 하드 음성 샘플을 사용한다.
• 훈련이 최종 평가 지표와 일치하도록 직접 순위 성능을 최적화하는 미분 가능한 순위 목표 함수를 사용한다.
• ADORE는 압축된 제품 양자화(PQ) 인덱스를 활용하여 GPU 메모리 사용량을 줄여 단일 11GB GPU에서의 훈련을 가능하게 한다.
• 이론적 분석을 통해 무작위 음성 샘플링은 총 쌍별 오류를 최소화하고, 하드 음성 샘플링은 상위-K 오류를 최소화함을 확인하여, 순위 작업에 더 적합함을 설명한다.
• 실험은 MS MARCO 파assage와 TREC Natural Questions 두 가지 공개 벤치마크를 사용하며, MRR@10과 NDCG@10과 같은 표준 평가 지표를 적용한다.

실험 결과

연구 질문

• RQ1 왜 하드 음성 샘플링이 밀도 높은 검색 훈련에서 무작위 음성 샘플링보다 성능이 뛰어나게 되는가?
• RQ2 DR 훈련에서 정적 하드 음성 샘플링의 이론적 및 실용적 한계는 무엇인가?
• RQ3 동적 하드 음성 샘플링이 정적 대비 더 높은 순위 성능을 달성할 수 있는가?
• RQ4 모델 효과성에 손상을 주지 않으면서 훈련의 안정성과 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 압축 인덱스는 제한된 하드웨어에서 밀도 높은 검색 모델의 효율적 훈련을 가능하게 하는가?

주요 결과

• ADORE는 ANCE 대비 훈련 시간에서 179배의 속도 향상을 달성하여 단일 GPU에서 645시간에서 4시간으로 단축시켰다.
• STAR는 정적 하드 음성 샘플 기반 베이스라인 대비 어려운 질의에서 성능 붕괴를 줄여 훈련의 안정성을 향상시켰다.
• ADORE와 STAR의 조합은 MS MARCO 파assage 데이터셋에서 MRR@10 0.329의 최고 성능을 기록했다.
• PQ=96일 때 ADORE는 GPU 메모리 사용량을 원래의 3%로 줄였고, MRR@10는 0.003만 감소하여 단일 GPU 훈련이 가능해졌다.
• PQ=6일 때 ADORE는 근본적으로 무작위 음성 샘플링 수준으로 성능이 떨어져 MRR@10가 0.304에 머물렀으며, 이는 인덱스 품질의 중요성을 확인한다.
• 이론적 분석을 통해 하드 음성 샘플링이 상위-K 오류를 최소화함을 확인하여, 이는 무작위 샘플링보다 순위 목표에 더 부합함을 입증한다.