[논문 리뷰] Virtual Augmentation Supported Contrastive Learning of Sentence Representations

Dejiao Zhang, Wei Xiao외 3명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 표현 공간 내 각 인스턴스의 배치 내 근접 이웃을 활용하여 가상의 데이터 증강을 생성함으로써 비지도 문장 표현 학습을 위한 새로운 방법인 가상 증강 지원 대비 학습(VaSCL)을 제안한다. 이웃 구조를 기반으로 악성 인스턴스 식별 작업을 정식화함으로써 VaSCL는 다양한 하류 NLP 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 명시적 텍스트 증강 기법을 사용할 경우 기존 방법들인 SimCSE를 능가한다.

ABSTRACT

Despite profound successes, contrastive representation learning relies on carefully designed data augmentations using domain specific knowledge. This challenge is magnified in natural language processing where no general rules exist for data augmentation due to the discrete nature of natural language. We tackle this challenge by presenting a Virtual augmentation Supported Contrastive Learning of sentence representations (VaSCL). Originating from the interpretation that data augmentation essentially constructs the neighborhoods of each training instance, we in turn utilize the neighborhood to generate effective data augmentations. Leveraging the large training batch size of contrastive learning, we approximate the neighborhood of an instance via its K-nearest in-batch neighbors in the representation space. We then define an instance discrimination task regarding this neighborhood and generate the virtual augmentation in an adversarial training manner. We access the performance of VaSCL on a wide range of downstream tasks, and set a new state-of-the-art for unsupervised sentence representation learning.

연구 동기 및 목표

• 텍스트의 이산적 성격으로 인해 효과적이고 일반적인 목적의 데이터 증강 기법을 설계하는 데 도전하는 것.
• 일반적으로 히ュ리스틱 규칙에 의존하고 성능이 열등한 기존의 명시적 텍스트 증강 전략의 한계를 극복하는 것.
• 표현 공간 내 이웃 구조를 활용하여 더 효과적인 가상 증강을 생성함으로써 비지도 문장 표현 학습을 향상시키는 것.
• 태스크 전용 애너테이션에 의존하지 않고 다양한 NLP 벤치마크에서 제로샷 전이 학습에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• VaSCL는 데이터 증강을 학습 인스턴스 주변의 이웃을 구성하는 것으로 해석하고, 이를 뒤집어 이웃을 이용해 증강을 생성한다.
• 주어진 인스턴스의 이웃을 표현 공간 내 동일한 훈련 배치 내 K개의 가장 가까운 이웃을 사용하여 근사한다.
• 가상 증강을 생성하기 위해 대비 학습 절차를 활용하여 원본 인스턴스와 의미적으로 가까운데도 충분히 다를 수 있도록 하여 대비 학습에서 양성 쌍으로 기능하도록 한다.
• 표준 드롭아웃 기반 증강(예: SimCSE에서 사용하는 방식)을 사용하는 하나의 대비 목표와, 생성된 가상 증강을 사용하여 인스턴스 식별을 강화하는 다른 하나의 목표를 결합한다.
• 가상 증강은 원본 및 가상 증강 표현 간의 구분을 유도하는 대비 손실을 통해 엔드 투 엔드로 최적화된다.
• 충분한 배치 내 이웃 다양성을 확보하기 위해 큰 배치 크기로 프레임워크를 훈련시켜 안정적인 이웃 근사가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 표현 공간 내 인스턴스의 이웃 구조를 기반으로 가상 증강을 생성함으로써 비지도 문장 표현 학습을 향상시킬 수 있는가?
• RQ2 왜 명시적 텍스트 증강 전략은 대비 학습에서 단순한 드롭아웃 기반 증강에 비해 성능이 떨어지는 경향이 있는가?
• RQ3 배치 내 이웃을 활용해 가상 증강을 생성하면 더 나은 의미 클러스터링과 표현 분산이 이루어지는가?
• RQ4 가상 증강은 노이즈가 많거나 약한 명시적 텍스트 증강이 하류 전이 성능에 악영향을 미치는 것을 완화할 수 있는가?
• RQ5 언어 다양성과 의미 일관성은 가상 증강과 명시적 증강의 효과성에 어떤 역할을 하는가?

주요 결과

• VaSCL는 다양한 하류 NLP 작업에서 최신 기술 수준의 성능을 달성하며, 이는 이전의 비지도 문장 표현 모델들보다 일관되게 뛰어나다.
• 이웃 구조를 기반으로 한 가상 증강은 모든 평가된 작업에서 모든 명시적 텍스트 증강 전략(예: 단어 삭제, 동의어 교체, 문맥 기반 치환)을 크게 능가한다.
• SimCSE와 VaSCL의 성능은 명시적 텍스트 증강과 함께 사용될 경우 모두 저하되며, 이는 이러한 증강 기법이 노이즈를 유발하고 표현 다양성을 제한하기 때문임을 시사한다.
• VaSCL가 학습한 표현 공간은 더 흩어져 있으며, 코사인 유사도 분석을 통해 다양한 정도의 의미적 정보를 더 잘 캡처하고 있음을 확인할 수 있다.
• 가상 증강을 사용한 모델은 명시적 증강을 사용한 모델보다 원본 및 증강 표현 간의 코사인 유사도가 낮은 것으로 나타나, 더 효과적이고 다양한 양성 쌍을 제공하고 있음을 의미한다.
• 드롭아웃을 기본 증강 전략으로 사용할 경우 명시적 방법보다 성능이 뛰어나며, 이는 NLP에서 효과적인 텍스트 수준 변환을 설계하는 데의 어려움을 보여준다.