[논문 리뷰] Discovering New Intents with Deep Aligned Clustering

Hanlei Zhang, Hua Xu외 2명|arXiv (Cornell University)|2020. 12. 16.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 대화 시스템에서 알려진 의도의 제한된 레이블이 있는 데이터를 활용하여 새로운 의도를 탐지하는 Deep Aligned Clustering 방법을 제안한다. 알려진 의도 데이터로 사전 훈련한 후, k-means를 사용해 가짜 레이블을 생성하고, 연속된 훈련 에포크 간의 클러스터 할당을 안정화하기 위해 정렬 전략을 적용함으로써, 모델은 강력하고 클러스터링에 적합한 표현을 학습하며, 낮은 신뢰도 클러스터를 걸러내어 새로운 의도 클래스의 수를 추정한다. 이는 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Discovering new intents is a crucial task in dialogue systems. Most existing methods are limited in transferring the prior knowledge from known intents to new intents. They also have difficulties in providing high-quality supervised signals to learn clustering-friendly features for grouping unlabeled intents. In this work, we propose an effective method, Deep Aligned Clustering, to discover new intents with the aid of the limited known intent data. Firstly, we leverage a few labeled known intent samples as prior knowledge to pre-train the model. Then, we perform k-means to produce cluster assignments as pseudo-labels. Moreover, we propose an alignment strategy to tackle the label inconsistency problem during clustering assignments. Finally, we learn the intent representations under the supervision of the aligned pseudo-labels. With an unknown number of new intents, we predict the number of intent categories by eliminating low-confidence intent-wise clusters. Extensive experiments on two benchmark datasets show that our method is more robust and achieves substantial improvements over the state-of-the-art methods. The codes are released at https://github.com/thuiar/DeepAligned-Clustering.

연구 동기 및 목표

• 소수의 레이블이 있는 알려진 의도 샘플만 존재할 때 대화 시스템에서 새로운 사용자 의도를 탐지하는 문제를 해결하기 위해.
• 알려진 의도에서의 사전 지식을 알려지지 않은 데이터(알려진 의도와 새로운 의도가 혼합된 데이터)에 전이하여 클러스터링 성능을 향상시키기 위해.
• 훈련 에포크 전반에 걸쳐 일관성 있는 가짜 레이블을 생성하여 자기지도 학습 기반 표현 학습을 위한 고품질의 가짜 레이블을 생성하기 위해.
• k-means 출력 결과에서 낮은 신뢰도 클러스터를 제거하여 새로운 의도 카테고리의 수를 자동으로 추정하기 위해.

제안 방법

• 소수의 레이블이 있는 알려진 의도 샘플에 대해 사전 훈련된 BERT 모델을 미세조정하고, 초기 특징 표현을 위해 소프트맥스 손실을 사용한다.
• 인코딩된 의도 특징에 대해 k-means 클러스터링을 수행하여 자기지도 학습을 위한 가짜 레이블을 생성한다.
• 연속된 훈련 에포크 간 클러스터 중심을 정렬하기 위해 투영 행렬 G를 학습하는 정렬 전략을 도입한다. 이는 레이블 불일치를 감소시킨다.
• 정렬된 가짜 레이블을 감독 신호로 사용하여 모델을 훈련함으로써 이전의 학습 정보를 유지하고 표현 품질을 향상시킨다.
• k-means 출력 결과에서 낮은 신뢰도 점수를 가진 클러스터를 반복적으로 제거하여 의도 클래스의 수를 추정한다.
• 최종 의도 클러스터 할당을 확보하기 위해 추론 시에 다시 k-means를 적용한다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 있는 알려진 의도 데이터가 자기지도 설정에서 새로운 의도 탐지에 효과적으로 활용될 수 있는가?
• RQ2 k-means 클러스터링에서 유도된 불일치하는 가짜 레이블이 훈련 에포크 전반에 걸쳐 어떻게 안정화될 수 있는가?
• RQ3 진짜 수가 사전에 알려지지 않은 상황에서 새로운 의도 클래스의 수를 정확하게 추정할 수 있는가?
• RQ4 제안된 정렬 전략은 무작위 재초기화 대비 클러스터링 성능과 내성에 있어 어떻게 비교되는가?
• RQ5 이 방법은 알려진 의도 클래스의 수와 초기 클러스터 수 K'의 변화에 얼마나 민감한가?

주요 결과

• 제안된 방법은 두 기준 데이터셋에서 최신 기술 수준의 방법들보다 뚜렷한 성능 향상을 보이며, 의도 탐지에서 뛰어난 내성과 정확도를 입증한다.
• 정렬 전략은 특히 데이터가 적은 환경에서 재초기화 대비 성능 향상을 크게 이끌어내며, 에포크 간에 학습된 특징 정보를 유지한다.
• 다양한 알려진 의도 비율(25%, 50%, 75%)에서 낮은 오류율로 의도 클래스 수를 추정하며, BERT-MCL 및 BERT-DTC와 같은 베이스라인을 능가한다.
• 진짜 수의 네 배 이하까지도 큰 초기 클러스터 수 K'에 대해 안정적으로 유지되며, 다른 방법들은 이러한 조건에서 성능이 크게 떨어지는 반면, 본 방법은 뛰어난 내성 유지한다.
• 알려진 의도 수가 적은 경우에도 성능이 안정적이고 뛰어나며, 레이블된 데이터에 대한 편향이 심한 방법들과는 달리, 사전 지식에 크게 의존하지 않는다.