[논문 리뷰] Incomplete Multi-view Clustering via Graph Regularized Matrix Factorization

Jie Wen, Zheng Zhang외 2명|arXiv (Cornell University)|2018. 09. 17.

Face and Expression Recognition참고 문헌 25인용 수 9

한 줄 요약

이 논문은 추가적인 정규화나 페널티 파rameter 없이 압축되고 특징이 뚜렷한 공통 표현을 학습하는 데 그래프 정규화 행렬 분해를 사용하는 새로운 불완전 다중뷰 군집화 방법인 IMC_GRMF를 제안한다. 재구성 오차 기반 그래프 정규화와 직교 기저 제약 조건을 활용하여, 불완전한 데이터에서의 군집 성능을 향상시키면서도 샘플 외 확장(Out-of-sample extension)을 가능하게 한다.

ABSTRACT

Clustering with incomplete views is a challenge in multi-view clustering. In this paper, we provide a novel and simple method to address this issue. Specifically, the proposed method simultaneously exploits the local information of each view and the complementary information among views to learn the common latent representation for all samples, which can greatly improve the compactness and discriminability of the obtained representation. Compared with the conventional graph embedding methods, the proposed method does not introduce any extra regularization term and corresponding penalty parameter to preserve the local structure of data, and thus does not increase the burden of extra parameter selection. By imposing the orthogonal constraint on the basis matrix of each view, the proposed method is able to handle the out-of-sample. Moreover, the proposed method can be viewed as a unified framework for multi-view learning since it can handle both incomplete and complete multi-view clustering and classification tasks. Extensive experiments conducted on several multi-view datasets prove that the proposed method can significantly improve the clustering performance.

연구 동기 및 목표

• 일부 샘플에 대해 뷰가 누락되어 있는 실세계 다중뷰 데이터에서 군집화 문제를 해결한다.
• 기존 방법의 한계를 극복하여 노이즈가 섞인 보간을 도입하거나 완전한 뷰를 기준으로 해야 하는 문제를 해결한다.
• 그래프 정규화에서 다수의 페널티 파rameter 수동 조정이 필요 없도록 하여 복잡성을 줄이고 강건성을 향상시킨다.
• 각 뷰의 기저 행렬에 직교 제약 조건을 적용하여 샘플 외 확장을 가능하게 한다.
• 불완전 및 완전한 다중뷰 군집화 및 분류 작업을 모두 처리할 수 있는 통합 프레임워크를 제공한다.

제안 방법

• 모든 뷰 간의 공통 잠재 표현을 학습하기 위해 군집 문제를 행렬 분해 문제로 공식화한다.
• 각 뷰의 재구성 오차 기반으로 근접한 이웃 그래프를 구축하여 추가 정규화 없이 局소 기하학적 구조를 유지한다.
• 그래프 라플라시안을 사용해 그래프 정규화를 목적 함수에 통합하여 표현의 압축성과 구분 능력을 향상시킨다.
• 각 뷰의 기저 행렬에 직교 제약 조건을 적용하여, 미리 보지 않은 샘플에 대한 일반화(샘플 외 확장)를 보장한다.
• 각 하위 문제에 대해 닫힌 형태의 해를 갖는 교차 최적화 알고리즘을 사용해 목적 함수를 최적화한다.
• 두 하이퍼파ram터 λ₁과 λ₂를 튜닝하기 위해 그리드 서치를 사용하며, 근접 이웃 수는 클래스 크기 히ュ리스틱 기반으로 선택한다.

실험 결과

연구 질문

• RQ1 완전한 뷰에 의존하지 않고 불완전한 다중뷰 데이터에 대해 효과적으로 공통 잠재 표현을 학습할 수 있는가?
• RQ2 추가 정규화 항이나 페널티 파ram터 없이 표현 공간에서 데이터의 국소 기하학적 구조를 유지할 수 있는가?
• RQ3 다양한 수준의 뷰 누락을 가진 벤치마크 데이터셋에서 최신 기법들과 비교해 본 결과, 제안된 방법의 성능은 어떠한가?
• RQ4 제안된 방법은 하이퍼파aram터 선택과 뷰 누락 비율에 대해 어느 정도 강건한가?
• RQ5 샘플 외 데이터에 대해 일반화가 가능한가? 이는 실세계 스트리밍 또는 점진적 학습 환경에서의 구현 가능성을 뜻한다.

주요 결과

• 70%의 쌍화된 샘플을 가진 수기 숫자 인식 데이터셋에서 제안된 방법은 51.88%의 정확도와 48.28%의 NMI를 기록하여, GPMVC(49.10%/46.02%)와 DCNMF(50.74%/44.04%)를 모두 능가했다.
• 70%의 쌍화된 샘플을 가진 BUAA 데이터셋에서 방법은 51.15%의 정확도와 42.74%의 NMI를 기록하여 PVC(43.96%/40.26%)와 IMG(42.36%/33.29%)를 뚜렷이 앞섰다.
• 90%의 뷰가 누락된 Caltech7 데이터셋에서 제안된 방법은 51.88%의 정확도와 48.28%의 NMI를 기록하여 고도로 불완전한 상황에서도 강력한 강건성을 입증했다.
• 다양한 파aram터 설정에서 안정적인 성능을 보였으며, λ₁과 λ₂에 대한 민감도가 낮아, 특히 [10⁰, 10²] 및 [10⁻⁵, 10⁻¹] 범위에서 높은 안정성을 보였다.
• 수렴 분석 결과, 목적 함수 값이 20회 이터레이션 내에 급격히 감소함을 확인하여 빠르고 안정적인 최적화를 보였다.
• 근접 이웃 수가 최적 범위 내에서 선택될 경우 성능에 미치는 영향이 미미했으며(예: 수기 숫자의 경우 8–18, BUAA의 경우 2–6), 클래스 샘플 수를 초과하면 성능이 급격히 떨어졌다.