[논문 리뷰] Condenser: a Pre-training Architecture for Dense Retrieval

Luyu Gao, Jamie Callan|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 39인용 수 8

한 줄 요약

이 논문은 조건부 언어 모델링 목표를 단일 밀도 표현에 명시적으로 조건화시켜 이중 인코더 미세조정을 위한 구조적 준비성을 향상시키는 새로운 사전 훈련 아키텍처인 Condenser를 제안한다. 이는 밀도 있는 검색에 적합한 트랜스포머 언어 모델의 성능을 향상시킨다. Condenser는 다양한 검색 및 유사도 작업에서 최신 기준 성능을 달성하며, 특히 저자료 설정에서 표준 BERT를 능가하고 복잡한 훈련 기법이 없는 작업 특화 모델과도 경쟁 가능하다.

ABSTRACT

Pre-trained Transformer language models (LM) have become go-to text representation encoders. Prior research fine-tunes deep LMs to encode text sequences such as sentences and passages into single dense vector representations for efficient text comparison and retrieval. However, dense encoders require a lot of data and sophisticated techniques to effectively train and suffer in low data situations. This paper finds a key reason is that standard LMs' internal attention structure is not ready-to-use for dense encoders, which needs to aggregate text information into the dense representation. We propose to pre-train towards dense encoder with a novel Transformer architecture, Condenser, where LM prediction CONditions on DENSE Representation. Our experiments show Condenser improves over standard LM by large margins on various text retrieval and similarity tasks.

연구 동기 및 목표

• 표준 사전 훈련된 언어 모델이 밀도 있는 표현 집합을 위한 구조적 준비성이 떨어져 효과적인 이중 인코더를 훈련하는 데 어려움을 겪는 문제를 해결하기 위해.
• 사전 훈련을 재설계하여 이중 인코더 미세조정을 위한 내재적 지원을 가능하게 하여 복잡한 후행 훈련 전략의 필요성을 줄이기 위해.
• 표준 미세조정된 모델이 종종 실패하거나 성능이 열등한 저자료 시나리오에서의 성능 향상을 위해.
• 사전 훈련된 모델의 어텐션 메커니즘을 분석하고, 구조적 준비성이 훈련 효율성과 최종 성능에 크게 영향을 준다는 것을 입증하기 위해.
• 밀도 있는 검색을 위한 작업 특화 사전 훈련 방법의 대체로 사용 가능한 일반 목적의 경량 솔루션을 제공하기 위해.

제안 방법

• 언어 모델링을 단일 밀도 표현에 조건화시킨 새로운 사전 훈련 목표를 제안하여, 모델이 정보를 압축된 벡터로 집계하도록 명시적으로 훈련한다.
• 입력 시퀀스에서 정보를 수집하고 집계하는 데 전용으로 사용되는 밀도 표현 토큰을 포함한 표준 트랜스포머 인코더 아키텍처를 수정한다.
• 마스크된 언어 모델링 목표를 사용하여 훈련하며, 각 토큰의 예측이 입력 시퀀스와 밀도 표현에 모두 의존하도록 하여, 모델이 정보를 효과적으로 압축하도록 유도한다.
• 사전 훈련과 미세조정 모두에 동일한 아키텍처를 사용하여 문장 유사도 및 밀도 있는 검색과 같은 후행 이중 인코더 작업으로 직접 전이가 가능하도록 한다.
• 미세조정 중 하드 음성 샘플링을 통합하여, Condenser가 표준 BERT와 달리 노이즈가 있는 미네이드 음성 샘플에 대해 강건함을 입증한다.
• 제거 분석과 어텐션 분석을 수행하여 Condenser, 표준 BERT, 작업 특화 사전 훈련된 모델(예: ICT) 간 내부 어텐션 패턴을 비교한다.

실험 결과

연구 질문

• RQ1 표준 사전 훈련된 BERT는 이중 인코더 설정에서 밀도 있는 표현 학습에 본질적으로 부적합한 내부 어텐션 구조를 가지고 있는가?
• RQ2 사전 훈련을 재설계하여 이중 인코더 미세조정을 위한 구조적 준비성을 향상시킬 수 있는가? 이는 복잡한 후행 훈련 기법의 필요성을 줄일 수 있는가?
• RQ3 저자료 및 고자료 설정에서 Condenser는 표준 BERT 및 작업 특화 사전 훈련된 모델과 비교해 어떻게 성능을 내는가?
• RQ4 Condenser의 어텐션 메커니즘은 표준 BERT 및 ICT와 얼마나 다를까? 이 차이는 향상된 훈련 효율성을 설명할 수 있는가?
• RQ5 Condenser는 하드 음성 샘플링과 효과적으로 조합될 수 있는가? 그리고 노이즈가 있는 미네이드 음성 샘플에 대해 강건성을 유지하는가?

주요 결과

• Condenser는 문장 유사도, 질문 응답 검색, 웹 검색 검색 작업에서 표준 BERT보다 뚜렷한 성능 향상을 보이며, 특히 저자료 조건에서 두드러진다.
• 저자료 설정에서 Condenser는 Inverse Cloze Task(ICT)로 미세조정된 작업 특화 사전 훈련된 모델과 동등하거나 그 이상의 성능을 달성하여 일반 목적의 초기화자로서의 효과성을 입증한다.
• 충분한 훈련 데이터가 있는 경우, Condenser의 검색기는 이전에 다중 라운드 하드 음성 샘플링과 같은 복잡한 기법이 필요한 모델보다 더 쉽게 최적화되며 성능이 뛰어나다.
• Condenser는 노이즈가 있는 하드 음성 샘플에 대해 강건하며, 미네이드 음성 샘플을 사용해 훈련할 때 일관된 성능 향상을 보이며, BERT 기반 모델과 달리 동일한 조건에서 성능 저하가 심각하게 발생하지 않는다.
• 어텐션 분석 결과, Condenser는 층 전반에 걸쳐 안정적이고 넓은 어텐션 패턴을 유지하여 구조적 준비성을 나타내지만, 표준 BERT는 미세조정 과정에서 내부 어텐션 구조에 급격한 변화를 겪으며, 이는 구조적 준비성이 떨어짐을 확인한다.
• 결과적으로, ICT와 같은 작업 특화 사전 훈련 목표가 반드시 구조적 준비성을 확보하기 위해 필요한 것은 아니며, Condenser는 밀도 있는 표현 조건화에 초점을 맞춘 일반 사전 훈련 목표를 통해 유사한 이점을 달성할 수 있음을 시사한다.