[논문 리뷰] Meta Adaptive Neural Ranking with Contrastive Synthetic Supervision.

Si Sun, Yingzhuo Qian외 6명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 55인용 수 5

한 줄 요약

이 논문은 대조적 쿼리 생성과 메타학습을 통한 필터링을 통해 합성된 약한 지도 신호를 생성함으로써 소수 샘플 신경 정보 검색을 향상시키는 메타적 적응 신경 순위 지정 프레임워크를 제안한다. 웹, 뉴스, 생물의학 분야에서 소수 샘플 순위 지정 정확도에서 뚜렷한 향상을 이룩하며, 대규모 인간 레이블 데이터에 의존하지 않고도 강력한 일반화 성능을 보여준다.

ABSTRACT

Neural Information Retrieval (Neu-IR) models have shown their effectiveness and thrive from end-to-end training with massive high-quality relevance labels. Nevertheless, relevance labels at such quantity are luxury and unavailable in many ranking scenarios, for example, in biomedical search. This paper improves Neu-IR in such few-shot search scenarios by meta-adaptively training neural rankers with synthetic weak supervision. We first leverage contrastive query generation (ContrastQG) to synthesize more informative queries as in-domain weak relevance labels, and then filter them with meta adaptive learning to rank (MetaLTR) to better generalize neural rankers to the target few-shot domain. Experiments on three different search domains: web, news, and biomedical, demonstrate significantly improved few-shot accuracy of neural rankers with our weak supervision framework. The code of this paper will be open-sourced.

연구 동기 및 목표

• 소수 샘플 신경 정보 검색 환경에서 고품질 관련성 레이블이 부족한 문제를 해결하기 위해, 특히 생물의학과 같은 도메인에서의 도전 과제를 다루기 위해.
• 정보 검색 모델의 일반화 성능을 향상시키기 위해 정보가 풍부한 합성 관련성 레이블을 생성함으로써 저자원 환경에서의 신경 순위 지정 성능을 향상시키기 위해.
• 합성 쿼리를 효과적으로 필터링하고 개선하여 더 나은 도메인 적응을 위한 메타적 적응 학습 프레임워크를 개발하기 위해.
• 거대한 인간 레이블 기반 관련성 데이터를 요구하지 않고도 효과적인 엔드 투 엔드 신경 순위 지정 모델 학습을 가능하게 하기 위해.

제안 방법

• 대조적 쿼리 생성(ContrastQG)을 사용하여 다양한 도메인 내 쿼리를 합성하여 약한 지도 신호로 활용한다.
• 긍정 및 부정 텍스트를 대조함으로써 관련성 신호의 품질을 향상시키기 위해 합성 쿼리를 생성한다.
• 메타적 적응 학습(MetaLTR)을 적용하여 합성 레이블 기반으로 순위 지정 모델을 미세조정함으로써 목표 도메인으로의 일반화 성능을 향상시킨다.
• 메타학습을 통해 다양한 합성 작업 간의 일반화 성능 최적화를 통해 모델을 소수 샘플 도메인에 적응시키는 프레임워크를 구현한다.
• 관련성 신호의 무결성을 유지하면서도 쿼리 생성과 순위 지정을 유연하게 최적화하는 기반의 파이프라인을 공동으로 최적화한다.
• 최종 모델은 합성 데이터 기반으로 엔드 투 엔드로 학습되며, 메타학습을 통한 미세조정을 통해 제로-샷 및 소수 샘플 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 대조적 쿼리 생성이 소수 샘플 신경 순위 지정 성능 향상에 기여하는 고품질 합성 관련성 레이블을 생성할 수 있는가?
• RQ2 메타적 적응 학습이 합성 쿼리를 효과적으로 필터링하고 개선하여 더 나은 도메인 일반화를 달성하는 데 얼마나 효과적인가?
• RQ3 제안된 프레임워크가 다양한 도메인에서 저자원 환경에서 강력한 베이스라인 성능을 초월하는가?
• RQ4 신경 정보 검색에서 인간 레이블 기반 관련성 데이터 의존도를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 방법은 웹, 뉴스, 생물의학 정보 검색 벤치마크에서 강력한 베이스라인 대비 소수 샘플 순위 지정 정확도를 뚜렷이 향상시킨다.
• 표준 생성 방법에 비해 대조적 쿼리 생성이 더 정보가 풍부한 합성 쿼리를 생성하여 후속 순위 지정 성능을 향상시킨다.
• 메타적 적응 학습이 노이즈가 있는 합성 레이블을 효과적으로 필터링하여 저자원 도메인에서 더 나은 일반화 성능을 달성한다.
• 단지 몇 개의 레이블 예시만으로도 강력한 소수 샘플 일반화 성능을 보이며, 이는 매우 강력한 일반화 능력을 시사한다.
• 생물의학 검색과 같이 레이블 데이터가 부족한 도메인에서도 효과적으로 일반화가 이루어지며, 다양한 도메인 간 전이 성능이 뛰어나다.
• 코드를 오픈소스로 제공함으로써 재현 가능성과 저자원 신경 정보 검색 분야의 향후 연구를 지원한다.