[논문 리뷰] Double Self-weighted Multi-view Clustering via Adaptive View Fusion

Xiang Fang, Yuchong Hu|arXiv (Cornell University)|2020. 11. 20.

Remote-Sensing Image Classification참고 문헌 24인용 수 7

한 줄 요약

이 논문은 잡음과 중복을 억제하기 위해 적응형 특징 수준 및 뷰 수준 가중치를 적용함으로써 다중 뷰 클러스터링을 향상시키는 새로운 프레임워크인 더블 세프웨이트드 다중뷰 클러스터링(DSMC)을 제안한다. 이중 세프웨이팅과 적응형 융합을 통해 반복적으로 최적의 그래프 표현을 학습함으로써 DSMC는 여섯 개인 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들보다 클러스터링 정확도, NMI 및 순도에서 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Multi-view clustering has been applied in many real-world applications where original data often contain noises. Some graph-based multi-view clustering methods have been proposed to try to reduce the negative influence of noises. However, previous graph-based multi-view clustering methods treat all features equally even if there are redundant features or noises, which is obviously unreasonable. In this paper, we propose a novel multi-view clustering framework Double Self-weighted Multi-view Clustering (DSMC) to overcome the aforementioned deficiency. DSMC performs double self-weighted operations to remove redundant features and noises from each graph, thereby obtaining robust graphs. For the first self-weighted operation, it assigns different weights to different features by introducing an adaptive weight matrix, which can reinforce the role of the important features in the joint representation and make each graph robust. For the second self-weighting operation, it weights different graphs by imposing an adaptive weight factor, which can assign larger weights to more robust graphs. Furthermore, by designing an adaptive multiple graphs fusion, we can fuse the features in the different graphs to integrate these graphs for clustering. Experiments on six real-world datasets demonstrate its advantages over other state-of-the-art multi-view clustering methods.

연구 동기 및 목표

• 모든 특징을 동일하게 취급함으로써 잡음이나 중복이 있는 특징이 포함된 경우에도 기존의 다중 뷰 클러스터링 방법의 한계를 해결하기 위해.
• 각 뷰에서 유리한 특징을 강조하고 불리한 특징을 억제함으로써 최적의 그래프 표현을 학습함으로써 클러스터링의 강건성을 향상시키기 위해.
• 각 그래프의 신뢰성과 기여도에 기반하여 동적 가중치를 할당함으로써 다중 뷰의 적응형 융합을 가능하게 하기 위해.
• 특징 수준 및 뷰 수준의 세프웨이팅을 통합한 효율적이고 수렴 가능한 최적화 프레임워크를 개발하여 클러스터링 성능을 향상시키기 위해.

제안 방법

• 각 뷰에 대해 적응형 가중치 행렬을 도입하여 특징마다 다른 중요도를 할당함으로써 유리한 특징의 표현을 향상시키고, 잡음이나 중복된 특징을 억제한다.
• 각 그래프에 대해 적응형 계수를 학습함으로써 두 번째 세프웨이팅 연산을 적용하여 더 신뢰할 수 있는 뷰에 더 높은 가중치를 할당한다.
• 목적 함수를 최소화하기 위해 가중치 행렬, 그래프 표현 및 융합 계수를 동시에 학습하기 위한 반복 최적화 절차를 구현한다.
• 유리한 특징을 뷰 간에 융합하는 데 사용된 가중치를 기반으로 한 적응형 다중 그래프 융합 전략을 설계하여 전체 클러스터링 강건성을 향상시킨다.
• 최종 클러스터 할당을 생성하기 위해 융합된 세프웨이트드 그래프에 스펙트럴 클러스터링을 적용한다.
• 그래프 라플라시안에 대해 폐쇄형 해를 사용하고, 비볼록 문제를 효율적으로 해결하기 위해 교대 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 다양한 뷰 간에 고차원 데이터가 중복되거나 잡음이 포함된 경우, 다중 뷰 클러스터링은 어떻게 향상시킬 수 있는가?
• RQ2 적응형 특징 수준 가중치는 다중 뷰 클러스터링에서 개별 뷰 그래프의 품질을 향상시킬 수 있는가?
• RQ3 적응형 뷰 수준 가중치는 융합 과정에서 더 신뢰할 수 있는 뷰를 우선시함으로써 클러스터링 성능을 향상시킬 수 있는가?
• RQ4 특징 수준과 뷰 수준에서 모두 적용된 이중 세프웨이팅 메커니즘은 기존 방법들보다 더 나은 클러스터링 성능을 이끌어낼 수 있는가?
• RQ5 제안된 적응형 융합 전략은 수렴성과 강건성 측면에서 고정 가중치 또는 단일 가중치 접근 방식과 비교해 어떻게 다를 수 있는가?

주요 결과

• NUS-WIDE 데이터셋에서 DSMC는 MLAN 대비 ACC를 19.8% 향상시키고 NMI를 15.07% 향상시켰으며, AWP 대비 각각 8.29%와 9.90% 향상시켰다.
• 20NGs 데이터셋에서 DSMC는 MMSC 대비 ACC에서 70.6% 향상되고 NMI에서 84.43% 향상되어 강력한 잡음 강건성을 입증했다.
• Scene 데이터셋에서 DSMC는 MMSC 대비 ACC에서 44.98% 향상되고 NMI에서 47.17% 향상되어 고차원적이고 이질적인 뷰를 다루는 데서의 효과성을 입증했다.
• BBC 데이터셋에서 DSMC는 SwMC 대비 ACC를 61.75% 향상시키고 AWP 대비 16.79% 향상시켜 복잡한 실세계 환경에서의 우수성을 확인했다.
• 모든 데이터셋에서 DSMC는 10회 이내의 반복 안에 수렴하여 높은 계산 효율성과 안정적인 최적화를 보였다.
• 제거 실험에서 특징 수준 및 뷰 수준의 세프웨이팅이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 뚜렷이 저하되었다.