[논문 리뷰] Online Multi-view Clustering with Incomplete Views

Weixiang Shao, Lifang He외 2명|arXiv (Cornell University)|2016. 11. 02.

Advanced Computing and Algorithms인용 수 6

한 줄 요약

이 논문은 대규모 데이터에서 완전하지 않은 뷰를 고려한 최초의 온라인 다중뷰 군집화 알고리즘인 OMVC를 제안한다. 데이터를 청크 단위로 처리하는 연속적인 가중치 없는 비음수 행렬 분해 문제로 군집화를 모델링함으로써 메모리 사용량을 줄이고, 누락된 인스턴스를 동적으로 가중치를 낮추며, Lasso 정규화를 통해 강인성을 향상시켜 실제 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the era of big data, it is common to have data with multiple modalities or coming from multiple sources, known as "multi-view data". Multi-view clustering provides a natural way to generate clusters from such data. Since different views share some consistency and complementary information, previous works on multi-view clustering mainly focus on how to combine various numbers of views to improve clustering performance. However, in reality, each view may be incomplete, i.e., instances missing in the view. Furthermore, the size of data could be extremely huge. It is unrealistic to apply multi-view clustering in large real-world applications without considering the incompleteness of views and the memory requirement. None of previous works have addressed all these challenges simultaneously. In this paper, we propose an online multi-view clustering algorithm, OMVC, which deals with large-scale incomplete views. We model the multi-view clustering problem as a joint weighted nonnegative matrix factorization problem and process the multi-view data chunk by chunk to reduce the memory requirement. OMVC learns the latent feature matrices for all the views and pushes them towards a consensus. We further increase the robustness of the learned latent feature matrices in OMVC via lasso regularization. To minimize the influence of incompleteness, dynamic weight setting is introduced to give lower weights to the incoming missing instances in different views. More importantly, to reduce the computational time, we incorporate a faster projected gradient descent by utilizing the Hessian matrices in OMVC. Extensive experiments conducted on four real data demonstrate the effectiveness of the proposed OMVC method.

연구 동기 및 목표

• 메모리에 들어가지 않는 대규모 다중뷰 데이터에서 뷰가 완전하지 않은 경우의 군집화 과제를 해결한다.
• 모든 뷰가 완전하고 전체 데이터가 메모리에 올라가야 하는 기존의 다중뷰 군집화 방법의 한계를 극복한다.
• 메모리 소비를 줄이면서도 군집 정확도를 유지하기 위해 데이터를 점진적으로 처리하는 온라인 알고리즘을 개발한다.
• 다른 뷰에서의 누락된 인스턴스의 영향을 동적으로 가중치 조정을 통해 최소화한다.
• 잠재 특징 학습 과정에 Lasso 정규화를 통합하여 노이즈와 이방값에 대한 강인성을 향상시킨다.

제안 방법

• OMVC는 다중뷰 군집화를 연속적인 가중치 없는 비음수 행렬 분해(NMF) 문제로 모델링하여 뷰 간 잠재 특징 행렬을 학습한다.
• 모든 데이터를 메모리에 저장하는 대신 청크 단위로 처리하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 각 뷰에서 누락된 인스턴스에 대해 낮은 가중치를 할당하여 학습 과정에서의 영향을 줄인다.
• 공동 행렬을 학습하고 이를 통해 뷰 간 잠재 특징 행렬을 공통으로 정규화하여 일관성을 증진시킨다.
• 잠재 특징 행렬에 Lasso(ℓ1) 정규화를 적용하여 노이즈 및 이방값에 대한 강인성을 향상시킨다.
• 수렴 속도를 높이기 위해 헤시안 행렬을 활용한 더 빠른 프로젝션 경사 하강법을 사용한다.

실험 결과

연구 질문

• RQ1 메모리에 들어가지 않는 대규모 데이터에서 완전하지 않은 뷰를 가진 경우 온라인 다중뷰 군집화를 효과적으로 적용할 수 있는가?
• RQ2 다른 뷰에서의 누락된 인스턴스를 어떻게 동적으로 가중치를 낮춰 군집화에 대한 부정적 영향을 최소화할 수 있는가?
• RQ3 완전하지 않은 다중뷰 군집화에서 공통 정규화 강도와 뷰별 학습 간의 최적의 균형은 무엇인가?
• RQ4 Lasso 정규화는 노이즈 또는 이방값이 존재하는 상황에서 학습된 잠재 특징 행렬의 강인성을 어떻게 향상시키는가?
• RQ5 프로젝션 경사 하강법에 헤시안 행렬을 사용하면 온라인 다중뷰 군집화의 계산 시간을 크게 줄일 수 있는가?

주요 결과

• OMVC는 네 개인 실세계 데이터셋에서 최신 기술 수준의 군집 성능을 달성하여 기존 방법보다 NMI와 조정된 랜드 지수에서 뛰어난 성능을 보였다.
• 알고리즘은 안정적인 수렴을 보였으며, 목적 함수 손실이 반복 횟수에 따라 감소하다가 결국 안정화되었다.
• 최적의 파라미터 설정은 α ≈ 10⁻² 및 β ≈ 10⁻⁷로, α는 공통 영향력을 제어하고 β는 Lasso 정규화를 통해 희박성을 제어한다.
• 민감도 분석을 통해 α와 β 모두 성능에 상당한 영향을 미치며, 최적값이 아닐 경우 성능 저하가 발생하는 것으로 확인되었다.
• 누락된 인스턴스에 대한 동적 가중치 설정이 효과적으로 부정적 영향을 줄여 군집 강인성을 향상시켰다.
• 최적화 과정에 헤시안 행렬을 통합함으로써 수렴 속도가 크게 향상되어 계산 시간이 감소하였다.