[논문 리뷰] Deep Discriminative Clustering Analysis

Jianlong Chang, Yiwen Guo외 4명|arXiv (Cornell University)|2019. 05. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 75인용 수 42

한 줄 요약

DDC는 미니 배치 학습에서 글로벌 및 로컬 제약 조건과 함께 판별적 표현과 패턴 관계를 공동으로 학습하여, 미리 지정된 클러스터 수가 필요 없이 이미지, 텍스트, 오디오 데이터 세트에서 최첨단 클러스터링 성능을 달성합니다.

ABSTRACT

Traditional clustering methods often perform clustering with low-level indiscriminative representations and ignore relationships between patterns, resulting in slight achievements in the era of deep learning. To handle this problem, we develop Deep Discriminative Clustering (DDC) that models the clustering task by investigating relationships between patterns with a deep neural network. Technically, a global constraint is introduced to adaptively estimate the relationships, and a local constraint is developed to endow the network with the capability of learning high-level discriminative representations. By iteratively training the network and estimating the relationships in a mini-batch manner, DDC theoretically converges and the trained network enables to generate a group of discriminative representations that can be treated as clustering centers for straightway clustering. Extensive experiments strongly demonstrate that DDC outperforms current methods on eight image, text and audio datasets concurrently.

연구 동기 및 목표

• 고정된 저수준 특징이 아니라 학습 가능한 판별적 표현으로 클러스터링의 동기를 부여한다.
• 전역 및 로컬 제약 하에 표현과 패턴 간 관계를 공동으로 학습하는 깊은 네트워크 프레임워크를 제안한다.
• 사전에 정의된 k 없이도 클러스터 수를 포함한 클러스터 구조를 자동으로 추정하도록 한다.
• 수렴에 대한 이론적 보장을 제공하고 실제적인 미니배치 최적화에 대해 논의한다.

제안 방법

• 클러스터링을 쌍 관계 R를 학습하는 것으로 모델링하고, 깊은 네트워크 f(x; w)가 판별적 지시자 특징 I = f(x; w)를 생성한다.
• R을 네트워크가 생성한 유사도와 정렬시키기 위해 반사성, 대칭성, 전이성을 통한 전역 제약을 부과한다.
• 유사도를 g(x_i, x_j; w) = f(x_i; w) · f(x_j; w)로 분해하여 대칭성을 보장한다.
• 지시자(I_h) >= 0의 로컬 비음수 제약을 도입하여 판별적 지시자를 촉진한다.
• R에 대한 이진 교차 엔트로피와 R과 f에서 나온 거친 유사도 R̄를 연결하는 페널티 항 ε(R, R̄)을 결합한 공동 목적 함수를 최적화한다.
• w와 R를 교대적으로 업데이트하는 미니배치 최적화를 활용하고, w가 고정될 때 I에 대한 스펙트럴 클러스터링을 R에 적용한다.
• 지시자 특징을 구현하고 반사성 및 비음수를 보장하기 위한 제약층(constrain-layer) 구현을 제공한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크가 비지도 설정에서 패턴 간 관계를 추정하는 동시에 판별적 클러스터링 중심을 학습할 수 있는가?
• RQ2 전역(관계 수준) 및 로컬(지시자 수준) 제약이 수렴을 가능하게 하고 다양한 데이터 모달리티에서 클러스터링 품질을 향상시키는가?
• RQ3 미리 정의된 k 없이도 데이터에서 클러스터 수를 자동으로 추론할 수 있는가?
• RQ4 미니배치 최적화가 대규모 데이터셋에 대한 규모 확장과 수렴 보장을 유지하는가?

주요 결과

• DDC는 이미지, 텍스트, 오디오를 아우르는 여덟 개의 데이터셋에서 기존의 표현 기반 및 단일 단계 심층 클러스터링 방법과 비교해 최상의 성능을 달성한다.
• 클러스터링과 결합된 표현 학습은 동등한 수준의 성능 향상을 제공하며 공동 학습 전제를 입증한다.
• DDC는 미니배치 최적화와 딥 표현을 통해 대규모 데이터셋과 고차원 특징을 처리한다.
• 이론적 결과(정리 1–3)는 판별적 클러스터링 중심이 학습됨을, 지시자 특징 차원이 최소 k일 때 글로벌 최소가 달성 가능함을, 그리고 알고리즘이 동일하게 분포된 미니배치 하에서 수렴함을 입증한다.
• 적분 연구는 모델이(관측 불가인) 클러스터 수를 추론할 수 있으며 초기화에 대해 강건함을 보임을 시사한다.