[논문 리뷰] Pre-training for Ad-hoc Retrieval: Hyperlink is Also You Need

Zhengyi Ma, Zhicheng Dou외 5명|arXiv (Cornell University)|2021. 08. 20.

Topic Modeling참고 문헌 62인용 수 7

한 줄 요약

이 논문은 광고 검색을 위한 사전 훈련 프레임워크인 HARP를 제안하며, 초점 링크와 앵커 텍스트를 활용하여 보다 신뢰할 수 있고 인간이 수작업으로 작성한 지도 신호를 생성한다. 앵커-문서 관계를 기반으로 한 네 가지 새로운 사전 훈련 작업을 설계하고, 마스크된 언어 모델링과 함께 공동 최적화함으로써, MS MARCO 및 TREC-COVID에서 검색 성능을 크게 향상시켰으며, BERT와 기존의 IR에 특화된 방법들을 능가한다.

ABSTRACT

Designing pre-training objectives that more closely resemble the downstream tasks for pre-trained language models can lead to better performance at the fine-tuning stage, especially in the ad-hoc retrieval area. Existing pre-training approaches tailored for IR tried to incorporate weak supervised signals, such as query-likelihood based sampling, to construct pseudo query-document pairs from the raw textual corpus. However, these signals rely heavily on the sampling method. For example, the query likelihood model may lead to much noise in the constructed pre-training data. \blfootnote{$\dagger$ This work was done during an internship at Huawei.} In this paper, we propose to leverage the large-scale hyperlinks and anchor texts to pre-train the language model for ad-hoc retrieval. Since the anchor texts are created by webmasters and can usually summarize the target document, it can help to build more accurate and reliable pre-training samples than a specific algorithm. Considering different views of the downstream ad-hoc retrieval, we devise four pre-training tasks based on the hyperlinks. We then pre-train the Transformer model to predict the pair-wise preference, jointly with the Masked Language Model objective. Experimental results on two large-scale ad-hoc retrieval datasets show the significant improvement of our model compared with the existing methods.

연구 동기 및 목표

• 기존의 IR에 특화된 사전 훈련 방법에서 약한 지도 신호에 기인한 한계를 해결하기 위해, 쿼리-유사도 샘플링과 같은 노이즈가 많은 알고리즘 기반 신호에 의존하는 문제를 해결한다.
• 웹 마스터가 생성한 초점 링크와 앵커 텍스트를 더 신뢰할 수 있고 고품질의 지도 신호로 활용하여 사전 훈련에 활용하고자 한다.
• 앵커-문서 관계의 다양한 측면을 모델링하기 위해 네 가지 다른 사전 훈련 작업을 설계하여 광고 검색에서의 관련성 매칭을 향상시키고자 한다.
• 초점 링크 기반 사전 훈련이 낮은 자원 환경 및 대규모 미세조정 설정에서 모델의 일반화 능력을 향상시키는지 평가하고자 한다.

제안 방법

• 웹 코퍼스에서 확보한 대규모 초점 링크와 앵커 텍스트를 사전 훈련을 위한 인간이 수작업한 기술적 신호로 활용한다.
• 네 가지 사전 훈련 작업을 설계한다: (1) 쌍의 관련성 순위 매기기(RQP), (2) 쌍의 관련성 정제(RDP), (3) 쿼리-문서 매칭(QDM), (4) 앵커 동시 발생 모델링(ACM)으로, 각각 앵커-문서 의미의 서로 다른 측면을 포괄한다.
• 표준 마스크된 언어 모델링(MLM) 목적함수와 함께 이 네 가지 작업을 함께 최적화하여 강력한 표현을 학습하는 트랜스포머 모델을 사전 훈련한다.
• 앵커 텍스트 주변의 맥락을 활용하여 쿼리 표현을 풍부하게 하여 모호성을 줄이고 의미적 관련성 모델링을 향상시킨다.
• 라벨이 부여된 관련성 평가를 사용하여 사전 훈련된 HARP 모델을 최종 광고 검색 작업에 대해 미세조정한다.
• MS MARCO 및 TREC-COVID 데이터셋에서 MRR@100과 MRR@10과 같은 표준 정보 검색 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 초점 링크와 앵커 텍스트 신호가 알고리즘적으로 생성된 가짜 쿼리 쌍보다 더 신뢰할 수 있는 지도 신호로 기능할 수 있는가?
• RQ2 다양한 앵커-문서 관계 시각(예: 관련성, 맥락, 동시 발생)이 검색 성능에 어떤 기여를 하는가?
• RQ3 초점 링크 기반 목적함수를 사용한 사전 훈련이 낮은 자원 환경 및 대규모 미세조정 시나리오에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 MLM과 함께 여러 초점 링크 기반 작업을 공동 최적화하면 단일 목적함수나 BERT 방식의 사전 훈련보다 더 나은 검색 효과를 낼 수 있는가?

주요 결과

• 네 가지 사전 훈련 작업 중 어느 하나라도 제거하면 성능 저하가 발생함을 확인하여, HARP 프레임워크 내에서 각 작업의 효과성과 필수성을 입증한다.
• RQP 작업을 제거했을 때 성능 저하가 가장 크게 발생하여, 앵커와 문서 간의 직접적인 관련성 모델링이 가장 영향력 있는 구성 요소임을 시사한다.
• HARP는 MS MARCO 및 TREC-COVID에서 모든 평가 지표에서 BERT를 능가하며, IR에 특화된 사전 훈련의 이점을 입증한다.
• 소량의 레이블이 부여된 쿼리(5~20개)로 구성된 희소한 설정에서도 HARP는 강력한 성능을 유지하며, 데이터 효율성과 데이터 희소성에 대한 강건성을 보여준다.
• 대규모 쿼리 세트(50,000~200,000개)에서는 HARP가 일관되게 베이스라인보다 뛰어나며, 미세조정 데이터가 많아질수록 성능이 향상됨을 확인하여 확장성과 레이블 데이터의 효과적 활용 능력을 입증한다.
• 제거 실험을 통해 MLM만으로는 광고 검색에 최적화된 성능을 달성하기 부족하며, 초점 링크 기반 목적함수의 추가가 최적 성능 달성에 필수적임을 확인한다.