[논문 리뷰] Spectral Perturbation Meets Incomplete Multi-view Data

Hao Wang, Linlin Zong외 3명|arXiv (Cornell University)|2019. 05. 31.

Remote-Sensing Image Classification참고 문헌 19인용 수 16

한 줄 요약

이 논문은 특징 누락을 유사도 행렬 누락으로 전환하고 스펙트럼 편미분 이론을 사용하여 다중뷰 데이터 간의 상호뷰 편미분 위험을 최소화함으로써 강건한 공통 클러스터링을 가능하게 하는 새로운 방법인 Perturbation-oriented Incomplete multi-view Clustering (PIC)을 제안한다. PIC는 편미분 인식 가중치를 사용하여 유사도 행렬을 동시에 보완하고 강건한 공통 라플라시안을 학습함으로써 합성 및 실제 다중뷰 불완전 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

Beyond existing multi-view clustering, this paper studies a more realistic clustering scenario, referred to as incomplete multi-view clustering, where a number of data instances are missing in certain views. To tackle this problem, we explore spectral perturbation theory. In this work, we show a strong link between perturbation risk bounds and incomplete multi-view clustering. That is, as the similarity matrix fed into spectral clustering is a quantity bounded in magnitude O(1), we transfer the missing problem from data to similarity and tailor a matrix completion method for incomplete similarity matrix. Moreover, we show that the minimization of perturbation risk bounds among different views maximizes the final fusion result across all views. This provides a solid fusion criteria for multi-view data. We motivate and propose a Perturbation-oriented Incomplete multi-view Clustering (PIC) method. Experimental results demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 일부 데이터 인스턴스가 특정 뷰에서 누락되어 강력한 완전 샘플링 가정을 위반하는 현실적인 불완전한 다중뷰 클러스터링 문제를 다룬다.
• 기존 방법들이 평균값으로 누락된 특징을 단순히 보간하는 방식이 상호 및 내부 클래스 분산을 왜곡할 수 있다는 점을 해결한다.
• 스펙트럼 편미분 위험과 불완전한 다중뷰 클러스터링 간 이론적 연결 고리를 구축하여 뷰 간 강건한 융합을 이끌어내는 데 기여한다.
• 완성된 유사도 행렬을 기반으로 작동하고, 편미분 이론을 활용해 뷰를 가중치 부여하여 공통 표현 학습을 수행하는 새로운 클러스터링 프레임워크를 개발한다.

제안 방법

• 원시 데이터에서 뷰별로 고유한 유사도 행렬을 구성함으로써 누락된 특징 값을 누락된 유사도 항목으로 변환한다.
• 해당 인스턴스를 포함하는 다른 뷰들에서 평균 유사도 값을 사용하여 누락된 유사도 항목을 보완한다.
• 각 완성된 유사도 행렬에 대해 라플라시안 행렬을 계산하여 각 뷰의 그래프 구조를 표현한다.
• 스펙트럼 편미분 이론을 적용하여 편미분 위험 경계를 유도하고, 이를 통해 각 라플라시안 행렬을 가중치 부여하여 상호뷰 고유공간 분산을 최소화한다.
• 가중치가 부여된 라플라시안 행렬들을 융합하여 편미분 위험 기반으로 모든 뷰를 균형 잡은 공통 라플라시안 행렬로 통합한다.
• 최종 공통 라플라시안에 대해 스펙트럼 클러스터링을 수행하여 통합된 클러스터링 결과를 도출한다.

실험 결과

연구 질문

• RQ1 스펙트럼 편미분 이론을 활용하여 불완전한 데이터 하에서 다중뷰 클러스터링의 일관성 부족 위험을 모델링하고 최소화할 수 있는가?
• RQ2 특징 공간에서 유사도 공간으로 누락된 데이터 문제를 전환하는 것이 더 강건한 클러스터링 성능을 이끌어낼 수 있는가?
• RQ3 스펙트럼 안정성에 기반해 뷰를 가중치 부여하는 편미분 인식 융합 전략이 불완전한 다중뷰 데이터에서의 클러스터링 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 합성 및 실제 다중뷰 불완전 데이터셋에서 기존의 행렬 보완 및 클러스터링 기준선과 비교해 어떻게 성능을 냈는가?

주요 결과

• PIC는 합성 데이터셋에서 모든 Partial Example Ratio (PER) 설정에서 DAIMC와 같은 최신 기법들을 포함한 모든 기준선을 뛰어넘으며, ACC 및 NMI 모두에서 일관된 향상을 보였다.
• 세 개인 실세계 불완전 다중뷰 데이터셋에서 PIC는 ACC 및 NMI 모두 평균 성능에서 최고를 기록하여 뛰어난 강건성과 일반화 능력을 입증했다.
• 다양한 수준의 데이터 불완전성 조건에서도 강력한 성능 유지를 보였으며, 편미분 매개변수 $\tilde{\beta}$ 가 0.1으로 설정되었을 때 최적의 결과를 도출했다.
• 매개변수 분석 결과, 균형 기반 식 $\beta = \tilde{\beta} \times \|\sum_{v}\mathbf{Q}^{v}\|_F / \|\mathbf{I}\|_F$ 는 다양한 데이터셋에서 단일 $\tilde{\beta}$ 값이 효과적으로 작용하도록 보장한다.
• 다중뷰 클러스터링 방법, 특히 PIC는 항상 이뷰 및 단일뷰 기준선을 능가하며, 불완전한 뷰 조건에서도 다수의 뷰를 활용하는 것이 유의미한 이점을 제공한다는 점을 확인했다.