[논문 리뷰] An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning

Shaobin Chen, Jie Zhou외 2명|arXiv (Cornell University)|2022. 09. 22.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대조학습과 복원 목표를 결합하여 양성 문장 쌍 간의 엔트로피를 줄이고 중복 정보를 최소화하는 대조학습 프레임워크인 InforMin-CL을 제안한다. 이 방법은 백본 네트워크를 수정하지 않고도 정렬성과 표현 품질을 향상시켜 14개의 하류 작업에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised sentence embeddings learning has been recently dominated by contrastive learning methods (e.g., SimCSE), which keep positive pairs similar and push negative pairs apart. The contrast operation aims to keep as much information as possible by maximizing the mutual information between positive instances, which leads to redundant information in sentence embedding. To address this problem, we present an information minimization based contrastive learning (InforMin-CL) model to retain the useful information and discard the redundant information by maximizing the mutual information and minimizing the information entropy between positive instances meanwhile for unsupervised sentence representation learning. Specifically, we find that information minimization can be achieved by simple contrast and reconstruction objectives. The reconstruction operation reconstitutes the positive instance via the other positive instance to minimize the information entropy between positive instances. We evaluate our model on fourteen downstream tasks, including both supervised and unsupervised (semantic textual similarity) tasks. Extensive experimental results show that our InforMin-CL obtains a state-of-the-art performance.

연구 동기 및 목표

• 비지도 문장 임베딩 학습 중에 양성 문장 쌍 간의 중복 정보 문제를 해결하기 위해.
• 정지어, 재진술, 스타일적 변형과 같은 노이즈를 제거하고 유용한 정보를 유지하여 하류 작업 성능을 향상시키기 위해.
• 정보 최소화 원칙을 통합함으로써 대조학습을 향상시키는 모델에 종속되지 않는 방법을 개발하기 위해.
• 복원 기반 정보 최소화가 양성 인스턴스 간 엔트로피를 효과적으로 줄이는지 입증하기 위해.

제안 방법

• 모델은 양성 문장 쌍 간의 상호정보량을 최대화하여 임베딩 공간에서 가까이 오게 하는 대조 목표를 사용한다.
• 한 쪽 문장 쌍의 뷰가 다른 쪽을 복원하도록 하는 복원 목표를 도입하여, 이들 간의 정보 엔트로피를 최소화한다.
• 복원 작업은 모델이 최소한의 공통 표현만 학습하도록 유도함으로써 암묵적으로 정보 최소화를 강제한다.
• 최소한의 아키텍처 변경으로 구현되어, 어떤 BERT 기반 모델이나 대조학습 프레임워크와도 호환된다.
• 학습 목표는 대조 손실과 복원 손실을 조합하며, 이들 간의 트레이드오프를 제어하는 하이퍼파rameter β를 포함한다.
• 이 방법은 모델에 종속되지 않으며, 파인튜닝이나 아키텍처 수정 없이 복원 헤드를 추가하기만 하면 된다.

실험 결과

연구 질문

• RQ1 복원을 통한 정보 최소화가 중복 정보를 줄임으로써 비지도 문장 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 양성 문장 쌍 간의 엔트로피를 최소화하는 것이 표준 대조학습에 비해 하류 작업 성능에 어떤 영향을 미치는가?
• RQ3 복원 목표가 문장 표현의 정렬성과 균일성에 얼마나 기여하는가?
• RQ4 단순하고 즉시 사용 가능한 대조 및 복원 기반 방법이 아키텍처 변경 없이 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ5 다양한 복원 손실 가중치(β)가 지도 및 비지도 작업 전반에서 성능에 어떤 영향을 미치는가?

주요 결과

• InforMin-CL은 7개의 지도 및 7개의 비지도 하류 작업에서 SimCSE 및 기타 최신 기술(SOTA) 방법을 능가하는 최신 기술 성능(SOTA)을 달성한다.
• β = 0.1을 사용할 때, 평균 지도 작업에서 피어슨 상관계수는 86.96, 평균 비지도 작업에서 63.25를 기록한다.
• t-SNE 시각화 결과, InforMin-CL은 SimCSE 및 SCD에 비해 더 단단히 뭉쳐 있고 정렬된 문장 표현을 생성한다.
• 복원 목표가 정렬성을 크게 향상시켜(0.143) 경쟁 수준의 균일성을 유지함으로써 더 나은 표현 품질 기여한다.
• 절단 실험 결과 복원 목표가 필수적임을 확인하였으며, 이를 제거하면 평균 지도 성능이 86.96에서 85.52로 떨어진다.
• 배치 크기의 변화에 관계없이 안정적인 성능을 보이며, 최적의 성능은 배치 크기 256에서 기록된다.