[논문 리뷰] Jointly Deep Multi-View Learning for Clustering Analysis

Bingqian Lin, Yuan Xie외 3명|arXiv (Cornell University)|2018. 08. 19.

Remote-Sensing Image Classification참고 문헌 27인용 수 12

한 줄 요약

이 논문은 딥 특징 학습, 다중 시각 융합, 클러스터링 할당을 동시에 최적화하는 새로운 딥 다중 시각 클러스터링 프레임워크(DMJC)를 제안한다. 두 가지 변형—DMJC-S(부드러운 할당을 통한 암묵적 융합)와 DMJC-T(보조 목표 분포를 통한 명시적 융합)—를 도입함으로써, 여섯 개인 이미지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 엔드 투 엔드 공동 학습을 통해 뛰어난 클러스터링 정확도를 확보한다.

ABSTRACT

In this paper, we propose a novel Joint framework for Deep Multi-view Clustering (DMJC), where multiple deep embedded features, multi-view fusion mechanism and clustering assignments can be learned simultaneously. Our key idea is that the joint learning strategy can sufficiently exploit clustering-friendly multi-view features and useful multi-view complementary information to improve the clustering performance. How to realize the multi-view fusion in such a joint framework is the primary challenge. To do so, we design two ingenious variants of deep multi-view joint clustering models under the proposed framework, where multi-view fusion is implemented by two different schemes. The first model, called DMJC-S, performs multi-view fusion in an implicit way via a novel multi-view soft assignment distribution. The second model, termed DMJC-T, defines a novel multi-view auxiliary target distribution to conduct the multi-view fusion explicitly. Both DMJC-S and DMJC-T are optimized under a KL divergence like clustering objective. Experiments on six challenging image datasets demonstrate the superiority of both DMJC-S and DMJC-T over single/multi-view baselines and the state-of-the-art multiview clustering methods, which proves the effectiveness of the proposed DMJC framework. To our best knowledge, this is the first work to model the multi-view clustering in a deep joint framework, which will provide a meaningful thinking in unsupervised multi-view learning.

연구 동기 및 목표

• 다중 시각 클러스터링에서 특징 학습과 클러스터링을 순차적으로 수행하는 방식의 한계를 해결하기 위해.
• 다양한 이질적인 시각 간의 상보적 정보를 특징 학습, 융합, 클러스터링을 공동 최적화하여 효과적으로 활용하기 위해.
• 딥 러닝 기반의 통합 프레임워크를 개발하여 다중 시각 클러스터링을 위한 엔드 투 엔드 학습을 가능하게 하기 위해.
• 단일 공동 최적화 목표 내에서 암묵적 및 명시적 다중 시각 융합 전략을 탐색하기 위해.

제안 방법

• 딥 임bedded 특징, 다중 시각 융합 메커니즘, 클러스터링 할당을 동시에 학습하는 공동 딥 다중 시각 클러스터링(DMJC) 프레임워크를 제안한다.
• DMJC-S는 새로운 다중 시각 부드러운 할당 분포 $\mathbf{q}$를 사용하여 암묵적 다중 시각 융합을 수행한다. 이 분포는 다양한 시각 간의 예측을 집계한다.
• DMJC-T는 다중 시각 보조 목표 분포 $\mathbf{p}$를 통해 명시적 다중 시각 융합을 수행한다. 이 분포는 공통 목표 분포를 통해 클러스터링을 이끈다.
• 예측 분포와 목표 분포 간의 발산을 최소화하는 KL 발산 기반의 클러스터링 목표 함수를 사용해 두 모델을 최적화한다.
• 다중 시각 브랜치로 자동에코더 기반 인코더를 사용하며, 특징 추출에는 오직 인코더 구성 요소만 활용한다.
• 특징 학습, 융합, 클러스터링 구성 요소를 포함한 전체 파이프라인을 거쳐 기울기 역전파를 통해 엔드 투 엔드 학습을 지원한다.

실험 결과

연구 질문

• RQ1 딥 특징 학습, 다중 시각 융합, 클러스터링의 공동 최적화가 순차적 또는 분리된 접근 방식에 비해 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 딥 클러스터링 프레임워크 내에서 다양한 이질적 시각 간의 상보적 정보를 효과적으로 활용할 수 있는가?
• RQ3 공동 학습 환경에서 암묵적 융합과 명시적 융합 전략 간의 상대적 이점은 무엇인가?
• RQ4 제안된 공동 프레임워크는 초기화 및 시각 구성의 변화에 대해 안정성과 강건성을 유지하는가?

주요 결과

• DMJC-S와 DMJC-T는 여섯 개의 벤치마크 이미지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 단일 시각 및 다중 시각 기반선보다 뛰어난 성능을 보였다.
• STL-10과 CIFAR-10에서 DMJC-T는 96.03%의 정확도를 기록하여 최고의 단일 시각 기반선(J-View-3, 90.71%)을 크게 앞섰다.
• DMJC-S와 DMJC-T의 이중 시각 변형(Conv-VAE + SAE)은 각각 93.84%와 93.88%의 정확도를 달성하여 CAE 브랜치 없이도 뛰어난 성능을 보였다.
• 세 시각 모델에 복원성 없는 시각(예: VAE, 70.59% 정확도)을 추가하더라도 성능 저하가 미미하게 나타났다(각각 DMJC-S와 DMJC-T에서 88.63% 및 88.28%로 감소), 노이즈가 있는 시각에 대한 강건성을 보였다.
• 50번의 랜덤 초기화에 걸쳐 성능 변동이 매우 낮았다(예: DMJC-T의 STL-10에서 1.20e-6), 이는 높은 안정성과 신뢰성의 존재를 시사한다.
• 시각화 결과에서 가장 정보가 많은 시각이 학습 과정에서 지배적인 역할을 하며, 최적화 과정에서 그 가중치가 크게 증가하는 것으로 나타났다. 이는 효과적인 시각 가중치 부여가 이루어졌음을 확인한다.