[논문 리뷰] Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting

Nicholas C. Harris, Anand Butani외 1명|arXiv (Cornell University)|2024. 04. 18.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 GPT-3.5를 활용해 임bedding 이전에 입력 텍스트를 풍부화하고 재작성함으로써 텍스트 임베딩 성능을 향상시키는 것을 제안한다. 이는 문법, 맥락, 전문 용어의 향상으로 이어진다. TwitterSemEval 2015 데이터셋에서 최고의 프롬프트가 코사인 유사도 점수 85.34점을 기록했으며, 이는 MTEB 랭킹의 이전 최고 성능 모델보다 8.21점 높은 성과이다.

ABSTRACT

Embedding models are crucial for various natural language processing tasks but can be limited by factors such as limited vocabulary, lack of context, and grammatical errors. This paper proposes a novel approach to improve embedding performance by leveraging large language models (LLMs) to enrich and rewrite input text before the embedding process. By utilizing ChatGPT 3.5 to provide additional context, correct inaccuracies, and incorporate metadata, the proposed method aims to enhance the utility and accuracy of embedding models. The effectiveness of this approach is evaluated on three datasets: Banking77Classification, TwitterSemEval 2015, and Amazon Counter-factual Classification. Results demonstrate significant improvements over the baseline model on the TwitterSemEval 2015 dataset, with the best-performing prompt achieving a score of 85.34 compared to the previous best of 81.52 on the Massive Text Embedding Benchmark (MTEB) Leaderboard. However, performance on the other two datasets was less impressive, highlighting the importance of considering domain-specific characteristics. The findings suggest that LLM-based text enrichment has shown promising results to improve embedding performance, particularly in certain domains. Hence, numerous limitations in the process of embedding can be avoided.

연구 동기 및 목표

• 텍스트 임베딩 모델의 한계, 즉 맥락 처리 능력 부족, 문법 민감도, 어휘 범위 제한 문제를 해결하기 위해 LLM을 전처리에 활용한다.
• LLM 기반 텍스트 풍부화 및 재작성 기법이 임베딩 모델 자체의 미세조정 없이도 후행 NLP 작업 성능을 향상시킬 수 있는지 조사한다.
• 다양한 NLP 데이터셋에서 임베딩 품질 향상에 기여하는 프롬프트 엔지니어링 전략의 효과를 평가한다.
• LLM 보강 텍스트 전처리 기법이 벤치마크 작업에서 강력한 기준 모델보다 뛰어난 성능을 낼 수 있는지 판단한다.

제안 방법

• 문법 오류 수정, 모호성 해소, 약어 전개, 맥락 메타데이터 추가 등을 통해 GPT-3.5를 활용해 원시 입력 텍스트를 재작성하고 풍부화한다.
• 일반적 지침에서 시작해 작업에 특화된, 간결하고 최적화된 프롬프트까지 다양한 유형의 네 가지 프롬프트 전략을 적용해 LLM의 텍스트 향상 작업을 이끈다.
• 임베딩 모델에 대한 미세조정 없이도 풍부화된 텍스트를 text-embedding-3-large 모델에 입력해 벡터화한다.
• 표준 벤치마크를 사용해 성능을 평가한다: MTEB의 TwitterSemEval 2015, Banking77Classification, Amazon Counter-factual Classification.
• 프롬프트 변형과 기준 모델(예: text-embedding-3-large, SFR-Embedding-Mistral) 간 성능을 비교한다.
• LLM이 생성한 텍스트의 질적 분석을 통해 통일성, 정보성, 의미 명확도 향상을 평가한다.

실험 결과

연구 질문

• RQ1 LLM 기반 텍스트 풍부화가 사전 학습된 텍스트 임베딩 모델의 후행 NLP 작업 성능을 크게 향상시킬 수 있는가?
• RQ2 LLM 기반 텍스트 재작성에 사용된 다양한 프롬프트 전략이 결과 임베딩의 품질에 어떤 영향을 미치는가?
• RQ3 LLM 기반 전처리가 text-embedding-3-large 및 SFR-Embedding-Mistral 같은 강력한 기준 임베딩 모델보다 벤치마크 데이터셋에서 뛰어난 성능을 낼 수 있는가?
• RQ4 LLM 강화 텍스트는 원시 입력 텍스트에 비해 의미적 풍부성과 모호성 감소에 어떤 방식으로 기여하는가?
• RQ5 이 방법이 일부 데이터셋(예: TwitterSemEval 2015)에선 뛰어난 성과를 내지만 다른 데이터셋(예: Banking77, Amazon Counter-factual)에선 그렇지 않은 이유는 무엇인가?

주요 결과

• 최고의 성능을 보인 프롬프트(Prompt 4)는 TwitterSemEval 2015 데이터셋에서 코사인 유사도 점수 85.34점을 기록했으며, 기준 모델인 text-embedding-3-large(77.13)보다 8.21점 높게 기록했다.
• Prompt 4는 MTEB 랭킹의 선두 모델인 SFR-Embedding-Mistral보다도 TwitterSemEval 2015 벤치마크에서 성능을 뛰어넘었다.
• Banking77Classification 데이터셋에서는 최고의 프롬프트(Prompt 4)가 79.71%의 정확도를 기록했지만, 여전히 기준 모델의 성능 이하였다.
• Amazon Counter-factual Classification 데이터셋에서는 최고의 프롬프트(Prompt 4)가 68.0%의 정확도를 기록했으며, 기준 모델의 성능에 못 미쳤다.
• 질적 분석을 통해 GPT-3.5가 오류 수정, 다의어 용어의 해소, 약어 전개, 관련 맥락 및 메타데이터 추가를 통해 텍스트 품질을 효과적으로 향상시켰음을 확인했다.
• 이 연구는 LLM 기반 텍스트 풍부화가 특히 소셜 미디어 텍스트처럼 비공식적이거나 모호한 텍스트에서 임베딩 성능을 크게 향상시킬 수 있음을 입증했다.