[논문 리뷰] A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference

Shuang Li, Xuming Hu외 4명|arXiv (Cornell University)|2022. 05. 31.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 저자원 자연어 추론을 위한 다중 수준 지도 기반 대비 학습 프레임워크인 MultiSCL을 제안한다. 문장 수준 및 쌍 수준의 대비 목적 함수를 동시에 최적화하여 분류 성능 향상을 위한 표현 학습을 개선한다. 데이터 증강과 교차 어텐션 모듈을 활용한 공동 표현 학습을 통해 MultiSCL은 저자원 NLI 벤치마크에서 이전 방법보다 평균 3.1%의 정확도 향상을 달성했으며, 다양한 도메인 간 적응 작업에서 최신 기술(SOTA) 모델보다 평균 8.5% 높은 성능을 보였다.

ABSTRACT

Natural Language Inference (NLI) is a growingly essential task in natural language understanding, which requires inferring the relationship between the sentence pairs (premise and hypothesis). Recently, low-resource natural language inference has gained increasing attention, due to significant savings in manual annotation costs and a better fit with real-world scenarios. Existing works fail to characterize discriminative representations between different classes with limited training data, which may cause faults in label prediction. Here we propose a multi-level supervised contrastive learning framework named MultiSCL for low-resource natural language inference. MultiSCL leverages a sentence-level and pair-level contrastive learning objective to discriminate between different classes of sentence pairs by bringing those in one class together and pushing away those in different classes. MultiSCL adopts a data augmentation module that generates different views for input samples to better learn the latent representation. The pair-level representation is obtained from a cross attention module. We conduct extensive experiments on two public NLI datasets in low-resource settings, and the accuracy of MultiSCL exceeds other models by 3.1% on average. Moreover, our method outperforms the previous state-of-the-art method on cross-domain tasks of text classification.

연구 동기 및 목표

• 저자원 환경에서의 표본 부족 문제를 해결하기 위해 자연어 추론에서 분류 성능 향상을 위한 표현 학습을 개선한다.
• 작은 데이터 환경에서 대비 신호가 부족해 기존 모델이 다양한 NLI 클래스를 구분하지 못하는 문제를 해결한다.
• 문장 수준 및 쌍 수준의 대비 학습 목적 함수를 통합하여 의미 표현 학습을 향상시킨다.
• 다중 수준의 대비 신호를 활용해 더 강건하고 불변하는 표현을 얻음으로써 제로샷 도메인 일반화 성능을 향상시킨다.
• 저자원 NLI 환경에서의 데이터 증강 및 구성 요소의 제거 실험(Ablation)의 효과를 평가한다.

제안 방법

• MultiSCL은 입력 문장을 다수의 시각으로 생성하는 데이터 증강 모듈을 사용하여 저자원 환경에서의 강건성을 향상시킨다.
• 전제 문장에 대해 유추 및 모순 가설을 양성 및 음성 집합으로 간주하여 문장 수준의 대비 학습을 적용한다.
• 교차 어텐션 메커니즘을 사용하여 문장 쌍의 공동 표현을 학습하고 문장 간 관계를 포착한다.
• 쌍 수준의 대비 학습은 같은 NLI 클래스(유추, 모순, 중립)에 속하는 문장 쌍의 임베딩을 가까이 모으고, 다른 클래스에 속하는 쌍의 임베딩은 떨어지게 한다.
• 문장 수준 및 쌍 수준의 대비 목적 함수를 동시에 최적화하여 표현의 구분 능력을 향상시킨다.
• 임베딩 공간 내에서 동일 클래스 간의 응집성과 다른 클래스 간의 분리성을 유도하는 지도 기반 대비 손실을 사용해 모델을 피지컬 튜닝한다.

Figure 1: The overall view of MultiSCL. The left part is the main framework of our model. The right part is the detailed structure of Cross Attention module.

실험 결과

연구 질문

• RQ1 다중 수준의 대비 학습은 저자원 자연어 추론에서 표현 학습을 향상시킬 수 있는가?
• RQ2 문장 수준 및 쌍 수준의 공동 대비 학습은 낮은 데이터 환경에서 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 데이터 증강은 저자원 NLI에서 강건성과 성능 향상에 얼마나 기여하는가?
• RQ4 MultiSCL은 다양한 NLI 데이터셋 간 제로샷 도메인 적응에서 얼마나 효과적인가?
• RQ5 각 구성 요소(문장 수준, 쌍 수준, 데이터 증강)가 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• MultiSCL은 두 개의 공개 데이터셋에서 저자원 NLI 벤치마크에서 이전 최신 기술(SOTA) 모델보다 평균 3.1%의 정확도 향상을 달성했다.
• 다양한 도메인 적응 설정에서 여섯 개의 테스트 케이스에 걸쳐, 교차 도메인 텍스트 분류 작업에서 MultiSCL은 기존 모델보다 평균 8.5% 높은 성능을 보였다.
• SciTail에서 SNLI 및 MNLI로의 도메인 적응에서 MultiSCL은 각각 49.2% 및 51.4%의 정확도를 기록했으며, 이는 이전 최신 기술(SOTA)보다 각각 10.1% 및 10.4% 높은 성능이었다.
• 모델는 특히 문장 수준 및 쌍 수준의 대비 신호를 공동 최적화함으로써 강력한 제로샷 전이 성능을 보였다.
• 제거 실험(Ablation study) 결과, 문장 수준 및 쌍 수준의 대비 학습이 성능 향상에 크게 기여하며, 데이터 증강이 추가로 강건성을 향상시킨다는 것이 확인되었다.
• SciTail과 같은 상이한 도메인에서도 프레임워크가 뛰어난 성능을 보여, 강력한 도메인 불변 표현 학습 능력을 입증했다.

Figure 2: Visualization of the SNLI representations using t-SNE for MultiSCL (left) and MultiSCL w/o Cross Attention Module (right).