[논문 리뷰] Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents

Wei Feng, Zhenbo Cheng외 5명|arXiv (Cornell University)|2022. 01. 07.

Speech and dialogue systems인용 수 9

한 줄 요약

이 논문은 대화 시스템에서 새로운 의도를 탐지하기 위한 텍스트 클러스터링을 향상시키기 위해 라벨된 의도와 대비 학습을 활용하는 이중 단계 방법인 Deep Contrastive Semi-supervised Clustering (DCSC)을 제안한다. 감독 대비 손실과 가짜 라벨링을 통해 표현과 클러스터 할당을 동시에 최적화함으로써, Clinc 및 Banking 데이터셋에서 기존의 DeepAligned 및 SCL과 비교해 모든 설정에서 최고 성능을 기록한다.

ABSTRACT

Most dialogue systems in real world rely on predefined intents and answers for QA service, so discovering potential intents from large corpus previously is really important for building such dialogue services. Considering that most scenarios have few intents known already and most intents waiting to be discovered, we focus on semi-supervised text clustering and try to make the proposed method benefit from labeled samples for better overall clustering performance. In this paper, we propose Deep Contrastive Semi-supervised Clustering (DCSC), which aims to cluster text samples in a semi-supervised way and provide grouped intents to operation staff. To make DCSC fully utilize the limited known intents, we propose a two-stage training procedure for DCSC, in which DCSC will be trained on both labeled samples and unlabeled samples, and achieve better text representation and clustering performance. We conduct experiments on two public datasets to compare our model with several popular methods, and the results show DCSC achieve best performance across all datasets and circumstances, indicating the effect of the improvements in our work.

연구 동기 및 목표

• 제한된 라벨된 의도 데이터를 가진 작업 지향 대화 시스템에서 새로운 의도를 탐지하는 데 도전하는 것.
• 반감도 학습을 통해 라벨된 및 라벨되지 않은 샘플을 반영한 반감도 방식으로 텍스트 클러스터링 성능을 향상시키는 것.
• 표현 학습을 대비 학습을 통해 향상시키면서 동시에 클러스터링과 임bedding 공간을 함께 최적화하는 것.
• 기존의 비가역적인 클러스터링 알고리즘(예: K-Means)에 의존하지 않는 강력한 엔드 투 엔드 딥 클러스터링 프레임워크를 개발하는 것.

제안 방법

• DCSC는 이중 단계 학습 절차를 사용한다: 먼저 교차 엔트로피와 감독 대비 손실을 사용해 라벨된 데이터로 사전 학습하고, 이후 라벨된 및 라벨되지 않은 데이터를 가진 가짜 라벨을 사용해 미세 조정한다.
• 모델은 문장의 문맥적 표현을 생성하기 위해 BERT 또는 MPNet을 백본 인코더로 활용한다.
• 클러스터링 단계에서는 전역이 아닌 배치 단위로 가짜 라벨를 할당하여 효율적이고 미분 가능한 최적화를 가능하게 한다.
• 대비 학습은 라벨된 및 라벨되지 않은 샘플 모두에 적용되어 인스턴스 수준의 양성 및 음성 샘플링을 통해 표현 품질을 향상시킨다.
• 감독 대비 손실은 서로 다른 의도 클래스 간에 마진 제약 조건을 강제하여 클러스터 간 분리도를 향상시킨다.
• 프레임워크는 표현 학습과 클러스터 할당을 함께 최적화하여 K-Means와 같은 비가역적인 클러스터링 알고리즘에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 제한된 라벨된 의도를 활용하는 반감도 클러스터링 방법이 라벨되지 않은 사용자 질의의 클러스터링 향상에 효과적으로 기여할 수 있는가?
• RQ2 대비 학습은 자원이 제한된 의도 탐지 환경에서 표현 학습을 어떻게 향상시키는가?
• RQ3 표현과 클러스터링을 함께 최적화하는 것이 단계별 또는 반복적 접근 방식보다 우월한가?
• RQ4 엔드 투 엔드 또는 K-Means 기반 가짜 라벨링과 비교해 이중 단계 학습 전략이 정확도와 내구성 측면에서 어떻게 성능을 낼 수 있는가?

주요 결과

• Clinc 데이터셋에서 BERT를 사용할 경우, 75%의 알려진 의도 비율에서 89.70% 정확도, 84.41% ARI, 95.28% NMI를 기록하여 최고 성능을 달성했다.
• Banking 데이터셋에서 BERT를 사용할 경우, 75%의 알려진 의도 비율에서 75.18% 정확도, 64.55% ARI, 84.65% NMI를 기록하여 DeepAligned 및 SCL를 모두 초월했다.
• MPNet을 백본으로 사용할 경우, Clinc 데이터셋에서 75%의 알려진 의도 비율에서 89.70% 정확도 및 95.28% NMI를 기록하여 BERT 기반 DCSC 및 SCL를 모두 능가했다.
• 제거 분석 결과, 클러스터링 단계에서의 감독 학습이 성능 향상에 크게 기여하며, 특히 높은 알려진 의도 비율에서 두드러진다.
• K-Means 재클러스터링 없이도 DCSC는 DeepAligned를 능가함으로써, 가역적이고 엔드 투 엔드 클러스터링 최적화의 효과성을 입증한다.
• 모델은 내구성과 확장성이 뛰어나, 두 데이터셋에서 모두 알려진 의도 비율(25%, 50%, 75%)에 관계없이 일관된 성능 향상을 보였다.