[논문 리뷰] End-to-End Retrieval in Continuous Space

Daniel Gillick, Alessandro Presta외 1명|arXiv (Cornell University)|2018. 11. 19.

Topic Modeling참고 문헌 22인용 수 71

한 줄 요약

이 논문은 이중 인코더와 오프라인 ANN 검색을 사용한 연속 공간에서의 엔드-투-엔드 검색을 시연하며, 두 개의 유사 질문 데이터셋에서 이산 검색 기준 대비 상당한 이득을 달성합니다. 또한 음수 샘플링 전략을 도입하고 검색 시스템에 대한 평가에 대해 논의합니다.

ABSTRACT

Most text-based information retrieval (IR) systems index objects by words or phrases. These discrete systems have been augmented by models that use embeddings to measure similarity in continuous space. But continuous-space models are typically used just to re-rank the top candidates. We consider the problem of end-to-end continuous retrieval, where standard approximate nearest neighbor (ANN) search replaces the usual discrete inverted index, and rely entirely on distances between learned embeddings. By training simple models specifically for retrieval, with an appropriate model architecture, we improve on a discrete baseline by 8% and 26% (MAP) on two similar-question retrieval tasks. We also discuss the problem of evaluation for retrieval systems, and show how to modify existing pairwise similarity datasets for this purpose.

연구 동기 및 목표

• 이산 인버티드 인덱스 시스템의 대안으로서 엔드-투-엔드 연속 검색의 필요성을 제시한다.
• 쿼리와 후보를 독립적으로 인코딩하여 효율적인 ANN 검색을 가능하게 하는 이중 인코더 아키텍처를 제안한다.
• 검색 최적 임베딩을 학습하기 위한 손실 함수와 음수 샘플링 전략을 탐구한다.
• 실제 검색 작업으로 전환된 쌍 데이터 세트에서 엔드-투-엔드 검색을 평가하여 실제 성능을 평가한다.

제안 방법

• 쿼리 인코더와 후보 인코더가 d 차원 임베딩을 생성하는 이중 인코더 프레임워크를 정의한다.
• 코사인 유사도를 검색 점수로 사용하고 학습된 선형 변환으로 유사도를 로짓으로 스케일링한다.
• 여러 개의 음수 샘플링 손실을 실험하되 배치 내 샘플링 소프트맥스가 최상의 결과를 제공한다.
• 다양한 음수를 제공하기 위해 큰 배치 크기를 사용하여 미니배치 경사 하강법으로 학습한다.
• 쌍별 데이터세트를 추론적 닫힘(transitive closure)을 통해 불완전한 검색 작업으로 변환하여 테스트 쿼리와 후보를 얻는다.
• 검색 상위-K 결과에 대해 MAP@100으로 평가하고 TFIDF, BM25 같은 전통적 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 실제 검색 작업에서 엔드-투-엔드 연속 검색이 기존 이산 검색 기준을 능가할 수 있는가?
• RQ2 다양한 음수 샘플링 손실이 엔드-투-엔드 검색 성능에 어떤 영향을 미치는가?
• RQ3 다중 작업 이중 인코더 구성이 관련 작업 전반에 걸친 검색 성능을 향상시키는가?
• RQ4 배치 크기가 엔드-투-엔드 검색의 MAP@100에 미치는 영향은 무엇인가?

주요 결과

• 엔드-투-엔드 이중 인코더 검색은 Quora와 AskUbuntu 데이터셋에서 MAP@100 기준 TFIDF 및 BM25와 같은 이산 베이스라인을 능가한다.
• 배치 내 샘플링 소프트맥스 손실이 테스트된 전략들 중 최상의 검색 결과와 더 빠른 수렴을 보인다.
• 더 큰 배치 크기가 MAP@100을 개선하며, 2, 10, 100, 1000에서 점수가 점진적으로 상승한다.
• 여러 쿼리 작업의 데이터를 사용하는 다중 작업 학습이 강력한 검색 성능을 제공한다.
• Paralex, Quora, AskUbuntu 데이터를 결합한 다중 작업 이중 인코더가 최종적으로 가장 좋은 성능을 달성한다.