[논문 리뷰] Is Your Language Model Ready for Dense Representation Fine-tuning?

Luyu Gao, Jamie Callan|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 15인용 수 9

한 줄 요약

이 논문은 저자원 환경에서 밀집 표현 미세조정에 영향을 주는 핵심 요인으로 최적화 준비도(Optimization Readiness)를 제안하며, 미세조정 중에 밀집 벡터를 통해 지식을 드러내는 능력을 향상시키기 위한 사전 훈련 아키텍처인 Condenser를 제안한다. 최적화 준비도를 향상시킴으로써, 작은 또는 노이즈가 있는 데이터셋에서 성능이 크게 향상된다.

ABSTRACT

Pre-trained language models (LM) have become go-to text representation encoders. Prior research used deep LMs to encode text sequences such as sentences and passages into single dense vector representations. These dense representations have been used in efficient text comparison and embedding-based retrieval. However, dense encoders suffer in low resource situations. Many techniques have been developed to solve this problem. Despite their success, not much is known about why this happens. This paper shows that one cause lies in the readiness of the LM to expose its knowledge through dense representation in fine-tuning, which we term Optimization Readiness. To validate the theory, we present Condenser, a general pre-training architecture based on Transformer LMs, to improve dense optimization readiness. We show that fine-tuning from Condenser significantly improves performance for small and/or noisy training sets.

연구 동기 및 목표

• 밀집 표현 미세조정이 저자원 또는 노이즈가 있는 훈련 환경에서 성능이 떨어지는 이유를 조사하기 위해.
• 이러한 조건에서 밀집 인코더의 성능이 떨어지는 근본 원인을 규명하기 위해.
• 미세조정 중에 밀집 표현을 통해 지식을 드러내는 능력을 향상시키기 위한 해결책을 제안하기 위해.
• 소규모 또는 노이즈가 있는 훈련 세트에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 미세조정 중에 언어 모델이 밀집 표현을 통해 지식을 드러내는 능력을 정의하는 최적화 준비도의 개념을 도입한다.
• 최적화 준비도를 향상시키기 위한 일반적인 사전 훈련 아키텍처인 Condenser를 설계한다. 이는 Transformer 기반 언어 모델을 기반으로 한다.
• 입력 텍스트와 그에 대응하는 밀집 벡터 표현 간의 정렬을 강화하는 자기지도 학습 목표를 사용하여 Condenser를 훈련한다.
• 제한된 또는 노이즈가 있는 데이터로 하류 작업에 대해 Condenser를 미세조정하고, 검색 및 텍스트 비교 벤치마크에서 성능을 평가한다.
• 저자원 조건에서 표준 사전 훈련된 언어 모델과 비교하여 Condenser의 성능을 분석한다.
• 아블레이션 연구를 통해 최적화 준비도가 하류 성능에 미치는 영향을 검증한다.

실험 결과

연구 질문

• RQ1 왜 밀집 인코더는 저자원 또는 노이즈가 있는 훈련 환경에서 성능이 떨어지는가?
• RQ2 언어 모델이 밀집 표현을 통해 지식을 드러내는 데의 준비도가 얼마나 미세조정 성능에 영향을 미치는가?
• RQ3 최적화 준비도를 향상시키면 소규모 또는 노이즈가 있는 훈련 세트에서 성능이 향상되는가?
• RQ4 제안된 Condenser 아키텍처는 저자원 환경에서 표준 사전 훈련된 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 최적화 준비도는 저자원 환경에서 밀집 표현 미세조정의 성능에 영향을 주는 핵심 요인이다.
• 최적화 준비도를 향상시키기 위해 설계된 Condenser는 소규모 및 노이즈가 있는 훈련 세트에서 뚜렷한 성능 향상을 이룬다.
• 성능 향상은 여러 검색 및 텍스트 비교 벤치마크에서 일관되게 관찰된다.
• 아블레이션 연구를 통해 향상된 최적화 준비도가 직접적으로 더 좋은 하류 성능에 기여한다는 것이 확인된다.
• 제한된 또는 완벽하지 않은 데이터로 미세조정할 경우, 표준 사전 훈련된 언어 모델보다 성능이 뛰어나다.