[논문 리뷰] SeDR: Segment Representation Learning for Long Documents Dense Retrieval

Junying Chen, Qingcai Chen외 2명|arXiv (Cornell University)|2022. 11. 20.

Topic Modeling인용 수 4

한 줄 요약

SeDR는 전체 문서 길이가 아닌 세그먼트 길이에 대해 제곱 복잡도를 가지는 Segment-Interaction Transformer를 사용하여 장문 문서에 대한 세그먼트 표현 학습을 제안한다. 이는 문서 인식형, 세그먼트 민감형 표현을 가능하게 하며, MS MARCO 및 TREC-DL에서 기존 방법을 능가하여 최신 기술 수준의 성능을 달성한다. 이는 개선된 세그먼트 상호작용과 GPU 메모리 제약로 인한 음성 샘플링 제한을 극복하기 위한 새로운 Late-Cache Negative 전략 덕분이다.

ABSTRACT

Recently, Dense Retrieval (DR) has become a promising solution to document retrieval, where document representations are used to perform effective and efficient semantic search. However, DR remains challenging on long documents, due to the quadratic complexity of its Transformer-based encoder and the finite capacity of a low-dimension embedding. Current DR models use suboptimal strategies such as truncating or splitting-and-pooling to long documents leading to poor utilization of whole document information. In this work, to tackle this problem, we propose Segment representation learning for long documents Dense Retrieval (SeDR). In SeDR, Segment-Interaction Transformer is proposed to encode long documents into document-aware and segment-sensitive representations, while it holds the complexity of splitting-and-pooling and outperforms other segment-interaction patterns on DR. Since GPU memory requirements for long document encoding causes insufficient negatives for DR training, Late-Cache Negative is further proposed to provide additional cache negatives for optimizing representation learning. Experiments on MS MARCO and TREC-DL datasets show that SeDR achieves superior performance among DR models, and confirm the effectiveness of SeDR on long document retrieval.

연구 동기 및 목표

• Transformer의 제곱 복잡도와 유한한 임bedding 용량으로 인해 장문 문서에서 밀도 검색(DR)에 한계가 존재하는 문제를 해결하기 위해.
• 문서 잘라내기나 분할-풀링으로 인한 정보 손실을 방지하기 위해 세그먼트 표현에 문서 수준의 맥락을 유지하기 위해.
• 장문 문서 학습 중 GPU 메모리 제약으로 인한 음성 샘플링 제한을 완화하기 위해.
• 모델 파라미터를 크게 증가시키지 않으면서도 높은 표현 품질을 유지하는 효율적이고 확장 가능한 방법을 개발하기 위해.

제안 방법

• 동일한 문서의 세그먼트 간 상호작용을 가능하게 하는 Segment-Interaction Transformer를 제안하여, 세그먼트 표현이 문서를 인식하면서도 각 세그먼트에 대해 O(n_s²) 복잡도를 유지한다.
• 세그먼트 수준의 어텐션을 사용한 수정된 Transformer 아키텍처를 활용하여 세그먼트 간 관계를 포착함으로써, 독립적 인코딩 또는 글로벌 어텐션 메커니즘보다 향상된 성능을 달성한다.
• 이전 학습 단계에서 인코딩된 문서 표현을 저장하고 재사용하는 Late-Cache Negative 전략을 도입하여 배치 내 음성 샘플 외에 추가 음성 샘플을 제공한다.
• 유사도 기반으로 상위-K 어려운 음성 샘플을 선택하는 동적 음성 샘플링 메커니즘을 활용하며, MRR 및 Recall의 균형을 고려해 K=100 및 캐시 크기 C=50가 최적임을 발견했다.
• 각 문서를 다수의 세그먼트 임베딩으로 표현하는 세그먼트 기반 밀도 검색 인덱스를 구성하여 세분화된 관련성 매칭을 가능하게 한다.
• 배치 내 음성 샘플과 캐시된 음성 샘플을 모두 활용하여 대조 학습을 수행함으로써 의미적 구분 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 세그먼트 간 상호작용을 고려한 세그먼트 수준 표현 학습이 분할-풀링 또는 독립적 인코딩을 초월하여 장문 문서 검색 성능을 향상시킬 수 있는가?
• RQ2 국소화된 어텐션을 사용하는 Segment-Interaction Transformer가 장문 문서 밀도 검색에서 글로벌 또는 희소 어텐션 메커니즘보다 더 높은 성능과 효율성을 달성할 수 있는가?
• RQ3 Late-Cache Negative 전략이 GPU 메모리 제약으로 인한 음성 샘플링 제약을 효과적으로 완화할 수 있는가?
• RQ4 음성 샘플링의 캐시 크기 및 어려움 설정에 따라 다양한 구성이 장문 문서 검색 성능에 어떤 영향을 미치는가?

주요 결과

• SeDR는 MS MARCO 및 TREC-DL에서 최신 기술 수준의 성능을 달성하였으며, TREC-DL 20에서 MRR@100은 0.632, Recall@100은 0.527을 기록했다.
• Segment-Interaction Transformer는 Longformer 및 글로벌 어텐션과 같은 다른 세그먼트 상호작용 패턴보다 더 적은 파라미터로 더 높은 효율성과 성능을 달성했다.
• C=50 및 K=100 설정의 Late-Cache Negative 전략이 MRR@100과 Recall@100 간 최적의 균형을 이룩하여 GPU 메모리 제약 완화에 효과적임을 입증했다.
• t-SNE 시각화 결과 SeDR는 글로벌 어텐션 모델에서 관찰되는 임베딩 붕괴 현상을 피하고 다양한, 문서 인식형 세그먼트 표현을 유지함을 확인했다.
• 문서 분할에 의한 정보 손실을 줄이면서도 계산 효율성을 유지하여, 최대 풀링 기반 모델과 다른 세그먼트 상호작용 방법보다 뛰어난 성능을 보였다.
• 실증 결과는 세그먼트 표현 간 상호작용이 독립적 인코딩에 비해 검색 성능을 크게 향상시킴을 확인했다.