[논문 리뷰] Self-supervised Document Clustering Based on BERT with Data Augment

Haoxiang Shi, Cen Wang|arXiv (Cornell University)|2020. 11. 17.

Text and Document Classification Technologies참고 문헌 30인용 수 6

한 줄 요약

이 논문은 텍스트 클러스터링을 위한 BERT 기반 자기지도 대비 학습(SCL) 및 소수의 예시를 사용하는 대비 학습(FCL) 프레임워크를 제안한다. 비지도 데이터 증강(UDA)을 활용하여, 역번역과 무작위 마스킹을 통해 양성 샘플을 생성함으로써 SCL은 짧고 긴 텍스트 클러스터링 벤치마크에서 최신 기술 성능(SOTA)을 달성한다. 또한 FCL은 UDA를 통해 특히 짧은 텍스트에서 지도 학습 성능에 매우 가까운 성능을 기록한다.

ABSTRACT

Contrastive learning is a promising approach to unsupervised learning, as it inherits the advantages of well-studied deep models without a dedicated and complex model design. In this paper, based on bidirectional encoder representations from transformers, we propose self-supervised contrastive learning (SCL) as well as few-shot contrastive learning (FCL) with unsupervised data augmentation (UDA) for text clustering. SCL outperforms state-of-the-art unsupervised clustering approaches for short texts and those for long texts in terms of several clustering evaluation measures. FCL achieves performance close to supervised learning, and FCL with UDA further improves the performance for short texts.

연구 동기 및 목표

• 복잡한 생성적 비지도 클러스터링 모델의 한계를 해결하기 위해 판별적 대비 학습 접근법을 도입하기 위해.
• 레이블이 없는 데이터에 의존하지 않고 짧고 긴 텍스트에서의 클러스터링 성능를 향상시키기 위해.
• 비지도 데이터 증강(UDA)이 텍스트 클러스터링을 위한 대비 학습을 향상시키는 데 얼마나 효과적인지 탐구하기 위해.
• 소수의 레이블된 예시만을 사용하여 소수의 예시를 기반으로 한 대비 학습(FCL)을 통해 지도 학습 성능에 가까운 성능를 달성하기 위해.
• BERT 표현을 활용한 대비 손실를 통한 개선된 클러스터링을 위한 확장 가능한 종단 간 프레임워크 개발하기 위해.

제안 방법

• 클러스터링을 위해 텍스트 입력을 BERT로 인코딩하여 조밀한 잠재 표현으로 변환한다.
• 자기지도 대비 학습(SCL)을 위한 양성 샘플 쌍 생성을 위해 다국어 역번역(BT)과 무작위 마스킹(RM)을 적용한다.
• 소수의 레이블된 예시를 사용하여 소수의 예시 대비 학습(FCL)을 수행하며, 동일한 클래스에서 추출된 양성 쌍을 활용한다.
• 표현 간 코사인 유사도를 기반으로 한 대비 손실 함수를 사용하며, 온도 매개변수를 통해 내부 클러스터 간 거리와 외부 클러스터 간 거리를 조절한다.
• 특히 짧은 텍스트에서 성능 향상을 위해 비지도 데이터 증강(UDA)을 통합한다.
• 피팅 후 표준 알고리즘을 사용하여 최종 BERT 인코딩 표현에 대해 클러스터링을 수행한다.

실험 결과

연구 질문

• RQ1 BERT 기반 자기지도 대비 학습이 짧고 긴 텍스트 데이터셋에서 기존의 비지도 클러스터링 방법보다 우수한 성능을 내는가?
• RQ2 소수의 예시 대비 학습(FCL)이 텍스트 클러스터링에서 얼마나 지도 학습 성능에 가까운 성능를 달성할 수 있는가?
• RQ3 비지도 데이터 증강(UDA)이 FCL의 성능를 향상시키는 데 기여하는 정도는 어떠한가, 특히 짧은 텍스트에서?
• RQ4 역번역과 무작위 마스킹과 같은 다양한 데이터 증강 전략이 대비 학습에서 양성 샘플 생성에 미치는 영향은 어떠한가?
• RQ5 기존의 오토인코더나 생성 모델에 비해 BERT 표현을 활용한 대비 학습은 클러스터링 효과성에서 얼마나 뛰어난가?

주요 결과

• SCL은 NMI, AMI, ARI, BCubed F1를 포함한 여러 평가 지표에서 짧고 긴 텍스트 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.
• FCL은 지도 학습 성능에 매우 가까운 성능를 기록하여 소수의 예시 지도 학습이 대비 학습에서 효과적임을 입증한다.
• 비지도 데이터 증강(UDA)을 적용한 FCL은 짧은 텍스트에서 성능 향상을 추가로 기록하여, 자료 증강이 자원이 부족한 환경에서 일반화 능력을 향상시킨다는 것을 시사한다.
• 역번역과 무작위 마스킹을 자료 증강 기법으로 사용함으로써 의미 있는 양성 샘플을 효과적으로 생성하여 대비 학습의 안정성과 성능를 향상시킨다.
• 온도 스케일링을 적용한 대비 손실는 내부 클러스터의 응집성과 외부 클러스터의 분리도를 효과적으로 균형 잡아 더 나은 클러스터링 품질을 이끌어낸다.
• 제안된 방법은 SIF + 오토인코더, G-BAT, SS-SB-MT와 같은 강력한 베이스라인을 모든 평가 벤치마크 데이터셋에서 모두 초월한다.