[논문 리뷰] Description-Based Text Similarity

Shauli Ravfogel, Valentina Pyatkin외 3명|arXiv (Cornell University)|2023. 05. 21.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 GPT-3를 활용해 생성한 합성된 <설명, 문장> 쌍을 기반으로 훈련된 대비 이중 인코더 모델을 사용하여 추상적 서술을 구현하는 문장을 찾는 새로운 검색 작업을 제안한다. 이 모델은 85.4%의 precision@1을 달성하여 E5와 같은 최신 문장 인코더(73.6%)를 크게 앞서며, 대규모 언어 모델(LM)으로부터 임의의 작업에 특화된 데이터를 정제함으로써 추상적 쿼리 유형에 대해 우수한 의미적 검색 성능을 달성할 수 있음을 보여준다.

ABSTRACT

Identifying texts with a given semantics is central for many information seeking scenarios. Similarity search over vector embeddings appear to be central to this ability, yet the similarity reflected in current text embeddings is corpus-driven, and is inconsistent and sub-optimal for many use cases. What, then, is a good notion of similarity for effective retrieval of text? We identify the need to search for texts based on abstract descriptions of their content, and the corresponding notion of \emph{description based similarity}. We demonstrate the inadequacy of current text embeddings and propose an alternative model that significantly improves when used in standard nearest neighbor search. The model is trained using positive and negative pairs sourced through prompting a LLM, demonstrating how data from LLMs can be used for creating new capabilities not immediately possible using the original model.

연구 동기 및 목표

• 현재 모델이 효과적으로 처리하지 못하는 내용에 대한 추상적이고 고수준의 서술에 대한 의미적 검색의 격차를 해소하기 위해.
• 추상적 서술과 그 텍스트적 구현 간의 '구현관계(instance-of)' 관계를 기반으로 잘 정의되고 일관된 유사도 개념을 정의하기 위해.
• 표면적 유사성이나 어휘 수준의 일치가 아니라 개념적 서술에 부합하는 특정 콘텐츠 인스턴스를 찾는 정보 탐색 쿼리의 검색 성능을 향상시키기 위해.
• LLM을 교육용으로만 사용하는 것 외에도 전문화된 훈련 데이터를 생성함으로써 원래 LLM이 내재적으로 지원하지 않는 능력을 가진 검색 모델을 개발할 수 있는지 탐색하기 위해.

제안 방법

• GPT-3를 활용해 다양한 고품질의 긍정 및 부정적인 <추상적 서술, 문장> 쌍을 생성하였으며, 이 중 문장은 서술의 구현 사례로 간주된다.
• 서술과 문장에 대해 별도의 인코더를 갖춘 대비 이중 인코더 모델을 구성하였으며, 긍정 쌍 간의 거리를 최소화하고 부정 쌍 간의 거리를 최대화하도록 훈련하였다.
• 양질의 훈련 데이터 확보를 위해 두 단계의 데이터 필터링 절차를 적용: 첫 번째로 MTurk를 통한 인력 기반 검증을 통해 서술에 부합하는 문장(유효) 또는 부합하지 않는 문장(무효)을 선별하였다.
• 201개의 테스트 쿼리로 구성된 정제된 데이터셋을 활용하여 훈련하였으며, 각 쿼리당 유효 문장 12개와 무효 문장 12개를 포함하였고, 이를 955만 개의 위키백과 문장과 결합하여 검색 인덱스를 구성하였다.
• 정밀도@k, 유효-재현율@k, 무효-재현율@k를 사용해 평가하였으며, 결과는 추상적 서술의 검증용 테스트 세트에 대해 보고되었다.
• 학습된 임베딩을 기반으로 표준 근접 이웃 검색을 적용하여 대규모 위키백과 인덱스에서 문장을 검색하였다.

Figure 1: Top retrieval results from the Wikipedia Index. Ours : the model developed in this work. Existing : all-mpnet-base-v2 , a strong sentence-similarity encoder.

실험 결과

연구 질문

• RQ1 LLM이 생성한 <서술, 문장> 쌍으로 훈련된 검색 모델이 추상적 서술 기반 검색에서 일반 목적의 문장 인코더를 능가할 수 있는가?
• RQ2 추상적 서술과 그 텍스트적 구현 간의 '구현관계' 관계가 의미적 검색에 적합한 잘 정의되고 일관된 유사도 개념인가?
• RQ3 LLM을 사용해 전문화된 검색 작업을 위한 고품질, 다양한, 신뢰할 수 있는 훈련 데이터를 생성할 수 있는가에 대한 정도는 어느 정도인가?
• RQ4 정제된, 작업에 특화된 데이터셋으로 훈련된 모델이 일반 목적의 모델보다 추상적 쿼리 검색에서 정밀도와 재현율 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 모델은 85.4%의 precision@1을 달성하였으며, 가장 강력한 베이스라인인 E5(73.6%)보다 11.8个百分点 높았다.
• 성능 격차는 k=1일 때 가장 크게 나타나며 k가 증가함에 따라 점차 줄어들어, 추상적 서술에 대해 상위 1위 검색 품질이 뛰어남을 시사한다.
• 모델은 모든 베이스라인 대비 가장 높은 무효-재현율@k를 기록하여, 서술과 부합하지 않는 문장을 검색하는 것을 효과적으로 방지하는 능력을 보였다.
• 일부 베이스라인보다 유효-재현율@k가 낮지만, 높은 정밀도와 낮은 거짓 양성률 덕분에 실제 정보 탐색 작업에서 더 신뢰할 수 있는 성능을 보였다.
• 표준 문장 인코더는 추상적 서술 검색에 적합하지 않으며, 그 이유는 유사도 정의가 모호하고 일관성이 없기 때문이다.
• 본 연구는 LLM을 효과적으로 활용해 고품질의 작업에 특화된 훈련 데이터를 생성할 수 있음을 입증하였으며, 이는 LLM 자체가 내재적으로 지원하지 않는 검색 능력을 모델이 학습할 수 있도록 한다.

Figure 2: Human evaluation results ( § 5.1 ): number of times a given number of sentences was chosen per query instance: Our model (abstract-sim), averaged over all 4 baseline evaluations, vs. the baselines.