[논문 리뷰] CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search

Chenyan Xiong, Zhenghao Liu외 8명|arXiv (Cornell University)|2020. 11. 03.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

이 논문은 도메인 적응 미리 훈련, 소수 샘플 학습을 통한 대조 질의 생성(ContrastQG) 및 ReInfoSelect, 그리고 밀도 기반 검색을 활용하여 생물의학 검색에서 도메인 이탈과 레이블 부족 문제를 완화하는 신경 순위 매기기 시스템을 제시한다. 이 시스템은 최소한의 인간 레이블 데이터로도 어휘 불일치를 효과적으로 줄이고 관련성 레이블링을 향상시켜, 수동 평가를 제외한 최고의 성능을 달성했다.

ABSTRACT

Neural rankers based on deep pretrained language models (LMs) have been shown to improve many information retrieval benchmarks. However, these methods are affected by their the correlation between pretraining domain and target domain and rely on massive fine-tuning relevance labels. Directly applying pretraining methods to specific domains may result in suboptimal search quality because specific domains may have domain adaption problems, such as the COVID domain. This paper presents a search system to alleviate the special domain adaption problem. The system utilizes the domain-adaptive pretraining and few-shot learning technologies to help neural rankers mitigate the domain discrepancy and label scarcity problems. Besides, we also integrate dense retrieval to alleviate traditional sparse retrieval's vocabulary mismatch obstacle. Our system performs the best among the non-manual runs in Round 2 of the TREC-COVID task, which aims to retrieve useful information from scientific literature related to COVID-19. Our code is publicly available at https://github.com/thunlp/OpenMatch.

연구 동기 및 목표

• 일반 웹 미리 훈련된 코퍼스와 특수한 코로나19 생물의학 도메인 간의 도메인 불일치 문제를 해결하기 위해.
• 과학 문헌 검색에서 인간이 레이블링한 관련성 레이블의 부족 문제를 완화하기 위해.
• BM25와 같은 희박 검색 방법에서 내재된 어휘 불일치 문제를 해결하기 위해.
• 소수 샘플 및 자기지도 학습 기법을 활용하여 자원이 제한된 생물의학 도메인에서 신경 순위 매기기 성능을 향상시키기 위해.
• 실제 생물의학 검색 환경에서 밀도 기반 검색 및 하이브리드 검색 전략의 효과를 평가하기 위해.

제안 방법

• 생물의학 코퍼스에 대해 SciBERT를 도메인 적응 미리 훈련(DAPT)하여 도메인 전용 용어(예: 'COVID-19') 이해를 향상시킨다.
• 대조 질의 생성(ContrastQG)을 사용해 다양한 고품질의 가짜 관련성 레이블을 생성하여 신경 순위 매기기 모델을 훈련시킨다.
• ReInfoSelect를 활용해 가짜 레이블을 필터링하고 정제하여 높은 신뢰도와 정보성 있는 관련성 신호에 집중한다.
• 이중 인코더 모델을 통해 질의와 문서를 조밀한 벡터로 인코딩하는 밀도 기반 검색을 통합하여 어휘 불일치 문제를 감소시킨다.
• 두 단계 검색 파이프라인에서 밀도 기반 검색 결과를 BM25 기반의 희박 검색 결과와 융합하여 전체 성능을 향상시킨다.
• BM25가 후보 집합을 추출한 후, 도메인 적응된 모델을 사용해 신경 순위 매기기 재정렬을 수행하는 하이브리드 재정렬 전략을 활용한다.

실험 결과

연구 질문

• RQ1 도메인 적응 미리 훈련이 웹 기반 언어 모델과 생물의학 도메인 간의 일반화 갭을 얼마나 줄일 수 있는가?
• RQ2 ContrastQG 및 ReInfoSelect와 같은 소수 샘플 학습 기법이 최소한의 레이블 데이터로 신경 순위 매기기 성능을 얼마나 향상시킬 수 있는가?
• RQ3 밀도 기반 검색이 생물의학 정보 검색에서 어휘 불일치 문제를 얼마나 효과적으로 완화하는가?
• RQ4 재정렬 깊이와 융합 전략이 자원이 제한된 환경에서 검색 성능에 어떤 영향을 미치는가?
• RQ5 잔류 콜렉션 평가가 알려진 질의에 대해 성능 지표를 어떻게 편향시키며, 이는 시스템 평가에 어떤 함의를 갖는가?

주요 결과

• 이 시스템은 TREC-COVID 라운드 2에서 수동 평가를 제외한 모든 런 중에서 최고 성능을 기록했으며, 모든 베이스라인을 압도했다.
• 밀도 기반 검색이 가장 큰 성능 향상을 이끌었으며, 희박 검색만을 사용한 경우 대비 P@5에서 11.8% 향상되었다.
• 재정렬 깊이 50~100이 최적의 성능을 보였으며, 더 깊어질수록 노이즈로 인해 정확도가 떨어졌다.
• 밀도 기반 검색과 신경 재정렬의 융합은 새로운 질의에 대한 강건성을 크게 향상시켰으며, 베이스라인에서 관찰된 급격한 성능 저하를 방지했다.
• ContrastQG와 ReInfoSelect는 제한된 레이블 데이터에도 불구하고 효과적으로 가짜 레이블을 생성하고 필터링하여 모델의 일반화 능력을 향상시켰다.
• 잔류 콜렉션 평가가 이전에 알려진(오래된) 질의에 대해 시스템을 유리하게 평가하는 경향이 있으며, 이는 이전 애너테이션을 악용하는 시스템에 대한 편향을 초래할 수 있다.