[논문 리뷰] Supporting Clustering with Contrastive Learning

Dejiao Zhang, Nan Feng외 7명|arXiv (Cornell University)|2021. 03. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 8

한 줄 요약

이 논문은 비지도 학습 단문 텍스트 클러스터링 성능을 햖थ기 위해 인스턴스별 대비 학습과 클러스터링 목표를 함께 최적화하는 새로운 엔드 투 엔드 프레임워크인 지원 클러스터링과 대비 학습(SCCL)을 제안한다. 대비 학습을 통해 클러스터 간 분리도를 향상시키고, 클러스터링을 통해 클러스터 내 응집도를 강화함으로써, 기준 데이터셋에서 정확도가 3%-11% 향상되고, 정규화된 상호정보량(NMI)이 4%-15% 향상되어 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Unsupervised clustering aims at discovering the semantic categories of data according to some distance measured in the representation space. However, different categories often overlap with each other in the representation space at the beginning of the learning process, which poses a significant challenge for distance-based clustering in achieving good separation between different categories. To this end, we propose Supporting Clustering with Contrastive Learning (SCCL) -- a novel framework to leverage contrastive learning to promote better separation. We assess the performance of SCCL on short text clustering and show that SCCL significantly advances the state-of-the-art results on most benchmark datasets with 3%-11% improvement on Accuracy and 4%-15% improvement on Normalized Mutual Information. Furthermore, our quantitative analysis demonstrates the effectiveness of SCCL in leveraging the strengths of both bottom-up instance discrimination and top-down clustering to achieve better intra-cluster and inter-cluster distances when evaluated with the ground truth cluster labels.

연구 동기 및 목표

• 고차원 데이터에서 거리 기반 클러스터링을 방해하는 표현 공간 내 중첩된 의미적 카테고리 문제를 해결하기 위해.
• 노이즈, 희소성, 제한된 감독 신호 등으로 인해 비지도 학습 단문 텍스트 클러스터링 성능을 향상시키기 위해.
• 하나의 클러스터링 목표를 바탕으로 한 하향식 클러스터링과 인스턴스별 대비 학습을 상향식으로 통합하여 클러스터 내 응집도와 클러스터 간 분리도를 향상시키기 위해.
• 자연어 처리(NLP) 분야에서 대비 학습을 위한 효과적인 텍스트 증강 전략을 조사하기 위해.
• 이전의 딥 클러스터링 방법에서 흔히 볼 수 있는 다단계 학습을 피하는 더 단순한 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• SCCL은 원본 텍스트 인스턴스에 대한 클러스터링 손실과 증강된 데이터 쌍에 대한 인스턴스별 대비 손실을 함께 최적화한다.
• 프레임워크는 WordNet 동의어 교체, BERT/RoBERTa 기반의 문맥적 단어 치환, 백트랜스레이션 기반의 약어화 등을 활용해 양의 쌍을 생성하는 데이터 증강 기법을 사용한다.
• 대비 학습은 동일한 텍스트의 증강된 뷰 표현을 가까이 모으고, 다른 텍스트의 표현을 멀리 떼어내도록 한다.
• 클러스터링 손실은 임베딩 공간 내에서 동일한 의미 카테고리에 속하는 샘플들이 조밀하게 그룹화되도록 유도한다.
• 동일한 베이크본이 원본 및 증강 입력을 모두 처리하는 듀얼 헤드 아키텍처를 사용해 엔드 투 엔드로 모델을 학습한다.
• 증강 조합의 효과를 평가한 결과, 매우 짧은 텍스트에서는 의미의 왜곡(semantic drift)으로 인해 성능 저하가 발생할 수 있음을 발견했다.

실험 결과

연구 질문

• RQ1 인스턴스별 대비 학습이 표현 공간 내 클러스터 간 분리도를 향상시켜 클러스터링 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 하향식 클러스터링 손실과 상향식 대비 학습을 결합했을 때, 클러스터 내 응집도와 클러스터 간 분리도에 어떤 영향을 미치는가?
• RQ3 NLP 분야에서 대비 학습을 위한 효과적인 양의 쌍을 생성하는 데 가장 효과적인 텍스트 증강 전략은 무엇인가?
• RQ4 여러 증강 기법을 조합하면 성능 향상이 이루어지는가, 아니면 특히 짧은 텍스트 클러스터링에서 의미의 왜곡 위험이 증가하는가?
• RQ5 다단계 접근 방식에 비해 더 단순한 엔드 투 엔드 학습 철학을 통해 SCCL이 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?

주요 결과

• SCCL은 여덟 개의 기준 단문 텍스트 클러스터링 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성했으며, 정확도가 3%-11% 향상되고, 정규화된 상호정보량(NMI)이 4%-15% 향상되었다.
• BERT/RoBERTa를 활용한 문맥 기반 단어 치환을 수행하는 컨텍스트 증강기(Contextual Augmenter)가 의미 정보를 더 잘 반영한 변형을 제공해 WordNet 및 백트랜스레이션 기반 증강기보다 뛰어난 성능을 보였다.
• 증강 기법의 조합은 더 긴 텍스트(예: GoogleNews-TS)에서는 성능 향상을 이끌었지만, 짧은 텍스트(예: StackOverflow)에서는 의미의 왜곡이 더 두드러져 성능 저하를 초래했다.
• t-SNE 시각화 결과, 기준 모델 대비 SCCL이 상당히 더 낮은 클래스 간 오버랩과 더 높은 클러스터 순도를 보였다.
• 절단 실험을 통해 대비 손실과 클러스터링 손실이 상호 보완적으로 작용하여 더 나은 클러스터 내·간 거리 성능을 달성함을 확인했다.
• 이 프레임워크는 다양한 텍스트 클러스터링 작업에 일반적이고 효과적이며, 다른 모odal로의 확장 가능성도 있다.