[논문 리뷰] Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs

Zongmo Huang, Yazhou Ren외 2명|arXiv (Cornell University)|2022. 05. 08.

Text and Document Classification Technologies인용 수 6

한 줄 요약

이 논문은 자기지도 학습 기반 그래프 컨volution 네트워크(GCNs)를 통해 잠재적 특징 표현과 동적 잠재 그래프를 동시에 학습하는 딥 임bedded 다중보기 클러스터링 방법인 DMVCJ를 제안한다. 그래프 구조를 활용해 표현을 정교화하고, 노드의 진입도 기반 샘플 가중치를 적용하여 노이즈를 감소시킴으로써, 다양한 실세계 다중보기 데이터셋에서 최신 기술 수준의 성능을 달성하며, 더 높은 클러스터링 정확도, 강건성 및 클러스터 구조 학습 능력을 입증한다.

ABSTRACT

With the representation learning capability of the deep learning models, deep embedded multi-view clustering (MVC) achieves impressive performance in many scenarios and has become increasingly popular in recent years. Although great progress has been made in this field, most existing methods merely focus on learning the latent representations and ignore that learning the latent graph of nodes also provides available information for the clustering task. To address this issue, in this paper we propose Deep Embedded Multi-view Clustering via Jointly Learning Latent Representations and Graphs (DMVCJ), which utilizes the latent graphs to promote the performance of deep embedded MVC models from two aspects. Firstly, by learning the latent graphs and feature representations jointly, the graph convolution network (GCN) technique becomes available for our model. With the capability of GCN in exploiting the information from both graphs and features, the clustering performance of our model is significantly promoted. Secondly, based on the adjacency relations of nodes shown in the latent graphs, we design a sample-weighting strategy to alleviate the noisy issue, and further improve the effectiveness and robustness of the model. Experimental results on different types of real-world multi-view datasets demonstrate the effectiveness of DMVCJ.

연구 동기 및 목표

• 기존의 딥 임bedded 다중보기 클러스터링 방법들이 잠재 공간 내의 그래프 구조 정보를 忽시하는 한계를 해결하기 위해.
• 엔드 투 엔드 방식으로 잠재 표현과 동적 잠재 그래프를 동시에 학습시켜 클러스터링 성능을 향상시키기 위해.
• 학습된 잠재 그래프 내 노드의 진입도 기반 샘플 가중치 전략을 설계하여 모델의 강건성을 향상시키기 위해.
• 명시적인 그래프 입력이 필요 없이 다중보기 데이터에서 효과적인 표현 학습을 가능하게 하여, 관측되지 않은 그래프 구조를 가진 실세계 시나리오에 적용 가능한 방법을 제공하기 위해.

제안 방법

• 각 뷰에 대해 깊이 신경망 오토인코더를 사용해 초기 잠재 표현을 설정한 후, 자기지도 학습 기반 GCN 모듈을 통해 반복적으로 표현을 정교화한다.
• 각 훈련 에포크에서, 각 뷰의 현재 잠재 표현에서 k-최근접 이웃(kNN)을 사용해 동적으로 인접 행렬 그래프를 구성한다.
• 동적으로 구성된 그래프에 그래프 컨볼루션 네트워크(GCNs)를 적용하여 이웃 노드의 정보를 집계함으로써 특징 표현을 향상시킨다.
• 매 T 반복(=1000)마다 정교화된 표현 기반으로 의사 레이블을 생성하여 표현 학습을 위한 자기지도 학습적 감독을 제공한다.
• 잠재 그래프 내에서 진입도가 높은 노드일수록 더 높은 가중치를 할당하는 글로벌 샘플 가중치 전략을 통해 노이즈 또는 이방성 샘플의 영향을 감소시킨다.
• 표현 정교화, 그래프 갱신, 의사 레이블 정교화를 번갈아 가며 수행하는 공동 최적화 목표를 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 임bedded 다중보기 클러스터링에서 잠재 표현과 동적 잠재 그래프를 동시에 학습시키는 것이 클러스터링 성능 향상에 기여하는가?
• RQ2 자기지도 학습 기반 GCNs를 통해 얻은 그래프 구조 정보를 통합할 경우, 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ3 잠재 그래프 내 진입도 기반 샘플 가중치 전략이 노이즈가 많은 샘플에 대한 모델의 강건성 향상에 기여하는가?
• RQ4 제안된 방법은 명시적인 그래프 입력 없이 다양한 실세계 데이터셋에서 기존 최신 기술 수준의 다중보기 클러스터링 방법을 초월하는가?

주요 결과

• DMVCJ는 BDGP, Handwritten Numerals, 20 Newsgroups 세 가지 벤치마크 데이터셋 전부에서 ACC, NMI, ARI 세 가지 평가 지표에서 최신 기술 수준의 성능을 달성하였다.
• BDGP 데이터셋에서 DMVCJ는 ACC 0.948, NMI 0.872, ARI 0.831을 기록하여 비교된 모든 기준 모델을 압도했다.
• Handwritten Numerals 데이터셋에서 DMVCJ는 ACC 0.927, NMI 0.854, ARI 0.812를 기록하여 일관된 우수성을 입증했다.
• 20 Newsgroups 데이터셋에서 DMVCJ는 ACC 0.789, NMI 0.715, ARI 0.683를 기록하여 고차원적이고 텍스트 기반의 다중보기 데이터에서도 뛰어난 성능을 보였다.
• t-SNE를 통한 시각화 결과, 훈련 반복이 진행될수록 클러스터 구조가 점점 더 명확하고 분리 가능해지는 것을 확인하여 효과적인 표현 학습을 확인할 수 있었다.
• 절단 실험 결과, 표현과 그래프의 동시 학습 및 진입도 기반 샘플 가중치 전략이 성능 향상에 크게 기여하는 것으로 확인되었다.