[논문 리뷰] Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Michael Günther, Isabelle Mohr외 3명|arXiv (Cornell University)|2024. 09. 07.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

이 논문은 장기적 문맥 임베딩 이후에 청크화를 적용하는 '마지막 청크화(late chunking)' 방법을 소개한다. 이는 전체 문서의 문맥을 유지하면서 검색 성능을 크게 향상시킨다. 텍스트를 청크로 나누기 이전에 장기적 문맥 모델을 활용함으로써 추가 학습 없이도 의미적 표현을 향상시키며, 다양한 벤치마크에서 단순 청크화보다 뛰어난 성능을 보인다.

ABSTRACT

Many use cases require retrieving smaller portions of text, and dense vector-based retrieval systems often perform better with shorter text segments, as the semantics are less likely to be over-compressed in the embeddings. Consequently, practitioners often split text documents into smaller chunks and encode them separately. However, chunk embeddings created in this way can lose contextual information from surrounding chunks, resulting in sub-optimal representations. In this paper, we introduce a novel method called late chunking, which leverages long context embedding models to first embed all tokens of the long text, with chunking applied after the transformer model and just before mean pooling - hence the term late in its naming. The resulting chunk embeddings capture the full contextual information, leading to superior results across various retrieval tasks. The method is generic enough to be applied to a wide range of long-context embedding models and works without additional training. To further increase the effectiveness of late chunking, we propose a dedicated fine-tuning approach for embedding models.

연구 동기 및 목표

• 기존 밀도 기반 검색을 위한 전통적 텍스트 청크화 방식에서 발생하는 장거리 문맥 의존성 손실 문제를 해결하기 위해.
• 임bedding 생성 과정에서 청크 간 문맥을 유지함으로써 텍스트 청크의 의미적 표현을 향상시키기 위해.
• 다양한 장기적 문맥 임베딩 모델에 적용 가능한 일반적이고 학습이 필요 없는 방법을 개발하기 위해.
• 마지막 청크화를 통해 검색 성능을 더욱 향상시키기 위한 파인튜닝 전략을 탐색하기 위해.
• 다양한 검색 벤치마크에서 마지막 청크화의 실증적 검증을 수행하고 기존 방법들과 비교하기 위해.

제안 방법

• 먼저 전체 문서에 장기적 문맥 임베딩 모델을 적용하여, 어떤 청크화도 이루어지기 전에 전체 문맥을 반영한 토큰 임베딩을 생성한다.
• 전체 토큰 임베딩 시퀀스에 대해 청크화를 수행한 후, 평균 풀링을 적용하여 문맥 기반 청크 임베딩을 생성한다.
• 수득한 임베딩을 검색 작업에 활용함으로써 각 청크가 주변 텍스트의 의미적 문맥을 이어받도록 보장한다.
• 모델의 문맥 길이를 초월하는 문서를 처리하기 위해, 겹치는 또는 분할된 시퀀스로 처리하는 방식을 활용한 장기적 마지막 청크화 접근법을 제안한다.
• 마지막 청크화를 통해 검색 정확도를 향상시키기 위해 스파이크 애너테이션된 데이터셋을 활용한 전용 대비 학습 방법을 도입한다.
• 재설계나 재학습 없이도 기존의 장기적 문맥 모델인 jina-embeddings-v2-small 등을 활용한다.

실험 결과

연구 질문

• RQ1 청크 간 의미적 의존성을 유지함으로써 마지막 청크화가 검색 성능 향상에 기여할 수 있는가?
• RQ2 문맥적으로 관련된 청크에 대해 마지막 청크화가 단순 청크화 대비 코사인 유사도에서 어떻게 성능을 내는가?
• RQ3 입력 문서가 모델의 최대 문맥 길이를 초과할 경우에도 마지막 청크화 접근법이 여전히 효과적인가?
• RQ4 마지선 청크화를 사용할 때 파인튜닝이 추가로 검색 정확도 향상에 기여하는가?
• RQ5 마지선 청크화 방식은 LLM 보강 문맥 임베딩 방법과 비교해 성능과 추론 비용 측면에서 어떻게 다른가?

주요 결과

• 마지선 청크화 방식은 문맥적으로 관련된 청크의 코사인 유사도 점수를 단순 청크화 대비 최대 0.1165 향상시켰다. 예를 들어, '베를린'을 언급하는 문장의 경우 0.7084에서 0.8249로 상승했다.
• FEVER 및 TriviaQA 데이터셋에서, 파인튜닝 시 스파이크 풀링이 평균 풀링보다 약간이지만 일관되게 성능 향상을 보였다.
• 마지선 청크화 방식은 LLM 보강 문맥 임베딩 방법(예: 0.8516 대비 0.8590)과 유사한 유사도 점수를 달성했지만, 추가적인 LLM 추론 단계가 필요로 하지 않았다.
• 금융, 위키백과, QA 스타일 문서를 포함한 모든 평가된 검색 벤치마크에서 단순 청크화보다 뛰어난 성능을 보였다.
• 스파이크 애너테이션된 데이터로 파인튜닝을 수행한 결과, 표준 대비 학습 방식 대비 측정 가능한 성능 향상이 있었으며, 특히 제로샷 및 피셔샷 설정에서 두드러졌다.
• 장기적 마지막 청크화 접근법은 모델의 문맥 창을 초월하는 문서를 효과적으로 처리했으며, 겹치는 또는 분할된 처리 방식을 통해 높은 품질의 임베딩을 유지했다.