[논문 리뷰] Robust Localized Multi-view Subspace Clustering

Yanbo Fan, Jian Liang외 3명|arXiv (Cornell University)|2017. 05. 22.

Face and Expression Recognition참고 문헌 12인용 수 11

한 줄 요약

이 논문은 공감 표현 학습 중 샘플과 뷰에 대해 신뢰도 기반 가중치를 적응적으로 할당하는 강건한 국소화된 다중뷰 부분공간 군집화(RMSC) 모델을 제안한다. 볼록 쌍대성(convex conjugacy)을 활용하여 샘플 가중치를 정규화하고 효율적인 반복 알고리즘을 사용함으로써, RMSC는 네 가지 벤치마크에서 뛰어난 군집 성능를 달성하며, 노이즈가 많고 이질적인 다중뷰 데이터를 효과적으로 처리함으로써 최신 기법들을 능가한다.

ABSTRACT

In multi-view clustering, different views may have different confidence levels when learning a consensus representation. Existing methods usually address this by assigning distinctive weights to different views. However, due to noisy nature of real-world applications, the confidence levels of samples in the same view may also vary. Thus considering a unified weight for a view may lead to suboptimal solutions. In this paper, we propose a novel localized multi-view subspace clustering model that considers the confidence levels of both views and samples. By assigning weight to each sample under each view properly, we can obtain a robust consensus representation via fusing the noiseless structures among views and samples. We further develop a regularizer on weight parameters based on the convex conjugacy theory, and samples weights are determined in an adaptive manner. An efficient iterative algorithm is developed with a convergence guarantee. Experimental results on four benchmarks demonstrate the correctness and effectiveness of the proposed model.

연구 동기 및 목표

• 모든 뷰 내 샘플에 대해 동일한 가중치를 부여하는 기존 다중뷰 군집화 방법의 한계를 해결하기 위해, 샘플 수준의 신뢰도에 따라 가중치를 다르게 할당함으로써 성능 저하를 방지하고자 한다.
• 노이즈가 많거나 이상치인 샘플이 깨끗한 샘플보다 신뢰도가 낮을 수 있음을 고려하여, 뷰 수준과 샘플 수준의 신뢰도 수준을 모두 모델링하고자 한다.
• 사전에 신뢰도 수준을 알지 못해도 최적화 과정에서 샘플 가중치를 학습할 수 있는 적응형 가중치 부여 메커니즘을 개발하고자 한다.
• 대규모 다중뷰 데이터셋에 대해 수렴성과 계산 효율성을 보장하는 최적화 과정을 확보하고자 한다.
• 실제 세계 벤치마크에서 최신 기법들에 비해 제안된 모델의 우수성을 입증하고자 한다.

제안 방법

• 각 뷰 내 각 샘플에 대해 비음수 가중치 파라미터를 도입하여 개별 샘플의 신뢰도 수준을 반영함으로써, 노이즈가 많거나 이상치인 샘플의 영향을 선택적으로 억제할 수 있도록 한다.
• 볼록 쌍대성 이론을 기반으로 한 샘플 가중치 정규화 기법을 제안하여, 최적화 과정에서 적응적이고 데이터 기반의 가중치 할당을 촉진한다.
• 블록 좌표 강내법을 사용한 반복 최적화 알고리즘을 개발하여 비볼록 최적화 문제를 해결하며, 이론적으로 수렴 보장을 한다.
• 다양한 뷰에서의 자기표현(self-representation)을 가중 평균을 통해 융합함으로써, 뷰 수준과 샘플 수준의 가중치를 함께 최적화하여 강건한 공감 표현을 학습한다.
• 공감 표현 행렬에 저질서수와 희소성 정규화를 통합하여 잠재적인 군집 구조를 유지한다.
• 공감 표현에 핵심 범수(nuclear norm) 페널티를 적용하고, 자기표현 행렬에 L1-노름을 적용하여 희소성과 저질서 구조를 촉진한다.

실험 결과

연구 질문

• RQ1 샘플 수준과 뷰 수준의 신뢰도를 함께 모델링하면 다중뷰 군집에서 공감 표현 학습 성능이 향상되는가?
• RQ2 볼록 쌍대성 기반의 적응형 데이터 기반 가중치 부여 방식이 고정되거나 뷰 수준에서 균일한 가중치를 사용하는 것보다 노이즈 및 이상치에 더 강건한가?
• RQ3 제안된 RMSC 모델은 다양한 실세계 데이터셋에서 최신 기법들에 비해 어떻게 성능을 발휘하는가?
• RQ4 RMSC의 최적화 알고리즘이 대규모 다중뷰 데이터에서 실제로 수렴하고 효율적인가?
• RQ5 RMSC의 성능는 하이퍼파rameter에 얼마나 민감한가? 안정적인 구현을 위한 강건한 파라미터 공간이 존재하는가?

주요 결과

• 제안된 RMSC 모델은 Digit, Reuter 등 네 가지 벤치마크 데이터셋에서 비교된 모든 기법들을 일관되게 능가하며 뛰어난 군집 정확도를 보였다.
• SSC-AVG 및 RMSC-WV는 동일하거나 뷰 수준에서 균일한 가중치를 가정하지만, RMSC는 이에 비해 뚜렷한 성능 향상을 보이며 샘플 수준의 신뢰도 모델링이 필수적임을 입증했다.
• Digit 데이터셋에서 RMSC는 노이즈가 많은 뷰(예: ZER)를 추가해도 안정적인 성능 유지를 보였지만, RMSC-WV와 SSC-AVG는 성능이 저하됨을 확인하여 그 강건성을 입증했다.
• 제안된 알고리즘의 수렴 속도는 매우 빠르며, Digit 및 Reuter 데이터셋에서 5회 반복 이내로 목적함수 값이 급격히 감소함을 확인했다.
• 모델은 하이퍼파rameter λ와 β에 대해 낮은 민감도를 보이며, 다양한 값에서 뛰어난 성능를 유지함으로써 실용적 강건성을 보였다.
• 샘플 가중치의 시각화 결과는 알고리즘이 효과적으로 노이즈가 많거나 이상치인 샘플을 식별하고 가중치를 낮추며, 신뢰도 수준의 직관과 일치함을 확인했다.