[논문 리뷰] Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings

Yiren Jian, Chong Gao외 1명|arXiv (Cornell University)|2022. 09. 20.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 비어 있는 텍스트와 비언어적 데이터(이미지 또는 오디오)를 함께 학습함으로써 문장 임베딩을 향상시키는 다중 모odal, 다중 작업 대비 학습 프레임워크인 VisualCSE와 AudioCSE를 제안한다. 비어 있는 시각적 및 청각적 데이터를 활용함으로써, 이 방법은 감정적 텍스트 유사도 벤치마크에서 보다 뛰어난 성능을 달성하며, 후자의 경우 노이즈가 있거나 최적화되지 않은 NLI 데이터셋을 사용하는 감독형 SimCSE조차도 앞서는 성능을 보인다.

ABSTRACT

Semantic representation learning for sentences is an important and well-studied problem in NLP. The current trend for this task involves training a Transformer-based sentence encoder through a contrastive objective with text, i.e., clustering sentences with semantically similar meanings and scattering others. In this work, we find the performance of Transformer models as sentence encoders can be improved by training with multi-modal multi-task losses, using unpaired examples from another modality (e.g., sentences and unrelated image/audio data). In particular, besides learning by the contrastive loss on text, our model clusters examples from a non-linguistic domain (e.g., visual/audio) with a similar contrastive loss at the same time. The reliance of our framework on unpaired non-linguistic data makes it language-agnostic, enabling it to be widely applicable beyond English NLP. Experiments on 7 semantic textual similarity benchmarks reveal that models trained with the additional non-linguistic (images/audio) contrastive objective lead to higher quality sentence embeddings. This indicates that Transformer models are able to generalize better by doing a similar task (i.e., clustering) with unpaired examples from different modalities in a multi-task fashion.

연구 동기 및 목표

• 큰 규모의 고품질 NLI 데이터셋에 의존하는 감독형 대비 학습의 높은 의존도를 해결하기 위해, 특히 저자원 언어에서는 이러한 데이터셋이 비용이 많이 들거나 확보하기 어려운 문제를 해결한다.
• 비어 있는 비언어적 데이터(예: 이미지, 오디오)가 문장 임베딩 학습에 효과적인 지도 학습으로 기능할 수 있는지 탐색한다.
• 쌍화된 텍스트-모달 데이터가 필요 없이 언어에 관계없이 작동하는 프레임워크를 개발하여 문장 표현 품질을 향상시킨다.
• 다중 모달, 다중 작업 대비 학습이 문장 임베딩 모델의 일반화 능력과 내성 강도를 향상시키는지 조사한다.
• 비언어적 지도 학습이 감독형 문장 임베딩 학습에서 고품질 레이블이 없는 NLI 데이터셋이 부족하거나 열 劣한 경우를 보완할 수 있음을 입증한다.

제안 방법

• 일반적인 SimCSE 손실을 사용하는 텍스트 작업과 비어 있는 비언어적 데이터(이미지 또는 오디오) 작업을 별도로 수행하는 두 개의 대비 학습 작업을 수행하는 공유 Transformer 인코더를 훈련한다.
• 텍스트와 비언어적 입력을 별도로 처리하기 위해 BERT 기반 텍스트 인코더와 비전 트랜스포머(ViT) 또는 오디오 인코더를 사용한다.
• SimCLR 대비 학습 손실을 각 모달에 대해 독립적으로 적용한다: 동일한 예시의 증강된 뷰들을 클러스터링하고, 다른 예시들을 분리한다.
• 공개 데이터셋(예: 위키백과 + ImageNet, LibriSpeech)에서 유래한 비어 있는 데이터를 사용하여 텍스트 및 비언어적 대비 목표를 결합한 다중 작업 손실로 모델을 엔드 투 엔드로 훈련한다.
• 교차 모달 정렬이나 쌍화를 방지함으로써 모달 간 독립성을 확보하여, 이 방법이 확장 가능하고 언어에 관계없이 적용 가능하도록 한다.
• 다운스트림 평가를 위해 공유 인코더의 [CLS] 토큰을 최종 문장 임베딩으로 사용한다.

실험 결과

연구 질문

• RQ1 비어 있는 비언어적 데이터(이미지 또는 오디오)가 비지도 설정에서 문장 임베딩 품질 향상에 효과적인 지도 학습으로 기능할 수 있는가?
• RQ2 NLI 데이터셋이 노이즈가 있거나 작을 경우, 다중 모달, 다중 작업 대비 학습이 텍스트 전용 대비 학습보다 더 나은 일반화 능력을 보이는가?
• RQ3 비언어적 지도 학습이 감독형 문장 임베딩 학습에서 고품질 레이블이 없는 NLI 데이터의 부재를 어느 정도 보완할 수 있는가?
• RQ4 비언어적 지도 학습의 통합이 문장 임베딩의 주요 표현 특성, 예를 들어 정렬성과 균일성에 어떤 영향을 미치는가?
• RQ5 언어에 관계없이 설계된 이 방법이 저자원 언어 환경에서 적용 가능하고 효과적인가?

주요 결과

• VisualCSE와 AudioCSE는 7개의 감정적 텍스트 유사도 벤치마크에서 비지도 및 감독형 SimCSE를 모두 앞서며, 비언어적 지도 학습의 효과를 입증한다.
• 감독형 SimCSE에서 사용된 NLI 데이터셋이 40%의 무작위 삭제로 손상된 경우, VisualCSE가 이를 뛰어넘는다. 이는 비언어적 지도 학습이 열 劣한 레이블 데이터를 보완할 수 있음을 시사한다.
• 비언어적 지도 학습을 통해 훈련된 모델은 긍정 쌍 간의 거리가 더 작아지며, 의미적으로 유사한 문장을 더 잘 클러스터링함을 확인하여 정렬성이 향상됨을 확인한다.
• 더 나은 정렬성에도 불구하고 VisualCSE는 SimCSE보다 균일성이 낮아지며, 임베딩 공간의 특정 영역에서 표현이 더 뭉쳐져 있음을 시사한다.
• 감독형 SimCSE는 ParaNMT나 QQP와 같은 노이즈가 있거나 최적화되지 않은 데이터셋에서 훈련할 경우 성능이 크게 떨어지지만, VisualCSE는 강력한 성능을 유지한다.
• 이 방법은 언어에 관계없이 작동하며 쌍화된 데이터가 필요 없어, 고품질 NLI 데이터가 확보되지 않는 저자원 언어 환경에서의 구현이 가능하다.