[논문 리뷰] Decoding a Neural Retriever's Latent Space for Query Suggestion

Leonard Adolphs, Michelle Chen Huebscher외 5명|arXiv (Cornell University)|2022. 10. 21.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 신경 검색기의 잠재 공간을 뒤집어 의미 있는 질의 재구성 결과를 생성하기 위해 질의의 임베딩에서 관련 문서의 임베딩으로 이동하는 방식으로, 질의 디코더를 제안한다. 이 방법은 MSMarco에서 인간의 주석 없이 대량의 합성 질의 제안 데이터셋을 생성하며, 이를 기반으로 T5 기반의 가짜 관련성 피드백 모델을 훈련시켜 유창성, 다양성, 검색 효과성 면에서 베이스라인을 능가한다.

ABSTRACT

Neural retrieval models have superseded classic bag-of-words methods such as BM25 as the retrieval framework of choice. However, neural systems lack the interpretability of bag-of-words models; it is not trivial to connect a query change to a change in the latent space that ultimately determines the retrieval results. To shed light on this embedding space, we learn a "query decoder" that, given a latent representation of a neural search engine, generates the corresponding query. We show that it is possible to decode a meaningful query from its latent representation and, when moving in the right direction in latent space, to decode a query that retrieves the relevant paragraph. In particular, the query decoder can be useful to understand "what should have been asked" to retrieve a particular paragraph from the collection. We employ the query decoder to generate a large synthetic dataset of query reformulations for MSMarco, leading to improved retrieval performance. On this data, we train a pseudo-relevance feedback (PRF) T5 model for the application of query suggestion that outperforms both query reformulation and PRF information retrieval baselines.

연구 동기 및 목표

• 신경 검색 모델에서 질의 변경이 잠재 공간의 변화로 명확하게 연결되지 않는 해석 가능성 격차를 해결하기 위해.
• 관련 문서의 잠재 표현을 디코딩하여 의미적으로 유의미한 질의 재구성 결과를 생성하기 위해.
• 인간 주석 없이 잠재 공간 탐색을 활용하여 대규모 합성 질의 제안 데이터셋을 생성하기 위해.
• 가짜 관련성 피드백 설정에서 검색 성능을 향상시키기 위해 질의 제안 모델을 훈련하기 위해.
• 유창성, 다양성, 검색 관련성 측면에서 생성된 제안의 효과성을 평가하기 위해.

제안 방법

• 이중 인코더 검색기(예: GTR)의 고정된 신경 인코더를 뒤집어, 잠재 표현을 자연어 질의로 다시 매핑하는 질의 디코더 모델을 훈련한다.
• 질의 임베딩에서 해당 질의의 정답 검색 문서의 임베딩으로 이르는 잠재 공간을 탐색하며, 경로 상의 중간 지점을 샘플링한다.
• 각 중간 잠재 지점에서 질의 디코더를 사용해 재구성된 질의를 생성하여 합성된 질의 제안 데이터셋을 만든다.
• 기존 질의와 상위 5개 검색 결과를 입력으로 사용해 T5-large 모델을 이 합성 데이터셋에 피지컬 테이닝하여 다양한 관련 질의 제안을 예측한다.
• 자기 BLEU(다양성) 및 퍼플렉서티(유창성)와 같은 자동 평가 지표를 사용해 생성된 제안을 평가하고, MSMarco 및 NQ에서 검색 성능을 측정한다.
• 잠재 공간의 구조를 활용해 질의 개선을 이끌어내어, 재구성 결과가 목표 문서의 임베딩 쪽으로 향하게 한다.

실험 결과

연구 질문

• RQ1 신경 질의 디코더는 신경 검색기의 잠재 표현에서 자연어 질의를 효과적으로 재구성할 수 있는가?
• RQ2 질의와 관련 문서 사이의 잠재 공간을 탐색함으로써 의미 있고 다양한 질의 재구성 결과를 생성할 수 있는가?
• RQ3 이러한 재구성 결과로 구성된 합성 데이터셋이 가짜 관련성 피드백 환경에서 질의 제안 모델의 성능을 향상시킬 수 있는가?
• RQ4 생성된 질의 제안 결과는 유창성, 다양성, 검색 효과성 측면에서 베이스라인과 비교해 어떻게 다른가?
• RQ5 질의 디코더는 특정 문서를 검색하기 위해 '어떤 질문을 해야 했는가'를 식별하는 데 얼마나 효과적인가?

주요 결과

• 질의 디코더는 잠재 표현에서 자연스럽고 다양한 질의 재구성 결과를 성공적으로 생성하였으며, MSMarco에서 self-BLEU 17.8, NQ에서 18.4를 기록하여 베이스라인 대비 다양성 향상을 보였다.
• T5 기반 질의 제안 모델(qsT5)은 MSMarco에서 self-BLEU 17.8, NQ에서 18.4를 기록하여 다양성과 유창성 면에서 MQR 및 RM3 베이스라인을 모두 능가했다.
• qsT5 모델은 MSMarco에서 퍼플렉서티 247.8, NQ에서 223.2를 기록하여, 베이스라인 T5-plain 모델(각각 196.6 및 249.8)보다 더 높은 유창성을 보였다.
• 합성된 질의 제안 데이터셋은 검색 성능 향상에 기여하였으며, qsT5 모델은 MSMarco 및 NQ에서 모두 질의 재구성 및 전통적인 PRF 베이스라인을 능가했다.
• 공유된 질의-문서 잠재 공간의 기하학적 구조를 활용함으로써 인간 주석 없이도 효과적인 질의 개선이 가능해졌다.
• 잠재 공간 탐색과 질의 디코딩을 조합한 방법은 검색 시스템을 위한 의미적으로 관련성 있고 다양한, 효과적인 질의 제안 결과를 생성할 수 있음을 입증했다.