[논문 리뷰] Document Expansion by Query Prediction

Rodrigo Nogueira, Wei Yang외 2명|arXiv (Cornell University)|2019. 04. 17.

Topic Modeling참고 문헌 27인용 수 210

한 줄 요약

본 논문은 각 문서에 대해 쿼리를 예측하고 인덱싱 전에 문서 텍스트를 확장하는 신경 기반 문서 확장 방법인 Doc2query를 제안하며, BM25와 선택적 BERT 재랭킹으로 강한 성과를 달성한다.

ABSTRACT

One technique to improve the retrieval effectiveness of a search engine is to expand documents with terms that are related or representative of the documents' content.From the perspective of a question answering system, this might comprise questions the document can potentially answer. Following this observation, we propose a simple method that predicts which queries will be issued for a given document and then expands it with those predictions with a vanilla sequence-to-sequence model, trained using datasets consisting of pairs of query and relevant documents. By combining our method with a highly-effective re-ranking component, we achieve the state of the art in two retrieval tasks. In a latency-critical regime, retrieval results alone (without re-ranking) approach the effectiveness of more computationally expensive neural re-rankers but are much faster.

연구 동기 및 목표

• 쿼리 표현이 아니라 문서 표현을 강화하여 어휘 불일치를 해결한다.
• 시퀀스-투-시퀀스 변환기를 사용하여 각 문서에 대한 그럴듯한 쿼리를 예측한다.
• MS MARCO 및 TREC-CAR 데이터셋에서 문서 확장을 평가하여 검색 이득을 측정한다.
• 문서 확장을 쿼리 확장 및 기본 검색과 비교한다.
• 인덱싱 전에 확장을 수행함으로써 신경 재랭커와 대등하거나 보완적일 수 있으며 속도를 개선함을 보여준다.

제안 방법

• 문서 텍스트에서 쿼리를 생성하기 위해 (쿼리, 관련 문서) 쌍으로 변환기 기반의 seq2seq 모델을 학습한다.
• 메모리 관리를 위해 문서를 400 토큰으로, 쿼리를 100토큰으로 자른다.
• 상위-k 무작위 샘플링을 사용하여 문서당 10개의 예측 쿼리를 생성한다.
• 예측 쿼리를 문서에 추가하고 BM25로 인덱싱한다.
• 최종 랭킹을 높이기 위해 검색 결과를 선택적으로 BERT로 재랭킹한다.
• 재현을 위한 오픈 소스 코드와 학습된 모델을 제공한다.

실험 결과

연구 질문

• RQ1 예측 쿼리를 통한 문서 확장이 표준 BM25보다 초기 검색 성능을 향상시킬 수 있는가?
• RQ2 길이가 긴 문서에서 문서 확장이 쿼리 확장보다 더 효과적인가?
• RQ3 Doc2query로 확장된 문서 위에 재랭커(BERT 등)를 사용할 때의 영향은 무엇인가?
• RQ4 Doc2query는 MS MARCO 및 TREC-CAR와 같은 다양한 데이터셋에서 어떻게 작동하는가?
• RQ5 어떤 디코딩 방식(빔 검색 대 top-k 샘플링)이 가장 큰 검색 이득을 제공하는가?

주요 결과

• Doc2query를 이용한 문서 확장은 BM25 단독과 비교하여 MS MARCO와 TREC-CAR 모두에서 약 15%의 검색 효과를 향상시키는다.
• Doc2query와 BERT 재랭커를 결합하면 TREC-CAR에서 최고 알려진 결과를 달성하고 MS MARCO에서 최첨단에 근접한 성능을 얻는다.
• Doc2query는 복사된 용어와 새로운 용어를 혼합하여 문서를 확장하므로 검색에 보완 신호를 제공한다.
• RM3 쿼리 확장은 이들 정밀도 중심 데이터셋에서 성능을 향상시키지 않는다.
• Doc2query 확장은 BM25에 비해 약간의 지연을 추가하지만 BERT가 포함된 Duet v2 같은 신경 재랭커보다 여전히 빠르다.
• 인덱싱 전에 확장을 수행함으로써 쿼리 시간 추론에서 문서 인덱싱 시간으로 계산 부하가 이동한다.