[논문 리뷰] Graph Regularized Non-negative Matrix Factorization By Maximizing Correntropy

Le Li, Jianjun Yang외 4명|arXiv (Cornell University)|2014. 05. 09.

Face and Expression Recognition참고 문헌 47인용 수 9

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)의 새로운 그래프 정규화 방법을 제안하며, 비선형 이미지 데이터의 구조를 더 잘 포착하기 위해 상관밀도(correntropy)를 최대화함으로써 비지도 이미지 클러스터링 성능을 향상시킨다. 상관밀도 기반 오차 측정과 국소 데이터 기하학을 유지하는 그래프 정규화를 결합함으로써, 특징에 대해 적응적으로 커널을 학습하고, 기존의 최첨단 NMF 변종들에 비해 Caltech101 및 Caltech256에서 더 높은 클러스터링 정확도와 정규화된 상호정보량(NMI)을 달성한다.

ABSTRACT

Non-negative matrix factorization (NMF) has proved effective in many clustering and classification tasks. The classic ways to measure the errors between the original and the reconstructed matrix are $l_2$ distance or Kullback-Leibler (KL) divergence. However, nonlinear cases are not properly handled when we use these error measures. As a consequence, alternative measures based on nonlinear kernels, such as correntropy, are proposed. However, the current correntropy-based NMF only targets on the low-level features without considering the intrinsic geometrical distribution of data. In this paper, we propose a new NMF algorithm that preserves local invariance by adding graph regularization into the process of max-correntropy-based matrix factorization. Meanwhile, each feature can learn corresponding kernel from the data. The experiment results of Caltech101 and Caltech256 show the benefits of such combination against other NMF algorithms for the unsupervised image clustering.

연구 동기 및 목표

• 이미지 데이터의 비선형 구조를 포착하는 데에 한계가 있는 선형 오차 측정 방법(예: $l_2$ 및 KL 발산)의 문제를 해결하기 위해.
• 상관밀도 기반 NMF에 기하학적 구조 보존을 위한 그래프 정규화를 통합하여 클러스터링 성능 향상을 도모하기 위해.
• 요소별로 적응적인 커널 학습을 가능하게 하여 표현 능력을 향상시키기 위해.
• 최대 상관밀도와 그래프 정규화를 통합한 NMF에서 수렴 가능한 최적화 알고리즘을 개발하기 위해.
• 기준 이미지 데이터셋에서 제안된 방법을 평가하고, 기존 NMF 접근 방식들에 비해 우월함을 입증하기 위해.

제안 방법

• 원본 행렬 $X$와 그의 저랭크 근사 $H \cdot W$ 사이의 상관밀도를 최대화하는 새로운 NMF 목적 함수를 제안한다.
• 근접 이웃 그래프를 사용하여 국소 불변성과 데이터의 내재 다양체 구조를 유지하는 그래프 정규화를 통합한다.
• 구현을 단순화하면서도 성능을 유지하기 위해 친화도 행렬에 0-1 가중치를 사용한다.
• 수렴이 보장되는 반복적 최적화 알고리즘과 곱셈형 업데이트 규칙을 유도한다.
• 각 특징에 대해 상관밀도 커널을 통해 자율적으로 커널 파rameter를 학습함으로써 데이터 특화의 비선형성을 적응적으로 반영한다.
• 상관밀도 기반 오차 최소화와 기하학적 구조 보존을 통합한 유일한 NMF 프레임워크를 구축한다.

실험 결과

연구 질문

• RQ1 기존의 $l_2$ 또는 KL 발산 기반 방법에 비해 상관밀도를 최대화하는 것이 이미지 클러스터링 성능 향상에 기여하는가?
• RQ2 그래프 정규화를 통합함으로써 국소 데이터 기하학을 보존함으로써 상관밀도 기반 NMF의 클러스터링 정확도가 향상되는가?
• RQ3 제안된 방법이 특징별로 적응적인 커널을 학습함으로써 더 나은 표현 학습이 가능한가?
• RQ4 다양한 클러스터 수에 대해 제안된 방법이 최첨단 NMF 변종들에 비해 클러스터링 정확도와 NMI 측면에서 어떻게 비교되는가?
• RQ5 특히 고차원 이미지 데이터에서 클러스터 수가 증가함에 따라 제안된 알고리즘이 안정적인가?

주요 결과

• 제안된 MCCGR (Max-Correntropy Graph Regularized NMF)는 $K \leq 10$일 때 Caltech101 및 Caltech256 데이터셋에서 가장 높은 클러스터링 정확도를 기록하며, 다른 NMF 변종들에 비해 일관되게 뛰어난 성능을 보였다.
• 정규화된 상호정보량(NMI) 측면에서도 MCCGR는 테스트된 모든 $K$ 값에서 최고 성능을 기록하여, 더 뛰어난 의미적 클러스터링 품질을 입증했다.
• $K > 10$일 경우 모든 방법의 정확도가 감소하지만, MCCGR는 다른 방법들에 비해 가장 낮은 성능 하락률을 보이며 가장 뛰어난 내구성을 확보했다.
• GRNMF와 MCC NMF는 각각 두 번째와 세 번째로 높은 순위를 차지하여, 그래프 정규화와 상관밀도 모두 성능 향상에 기여한다는 점을 시사한다.
• 프로젝션 기반 그라디언트 NMF(PG)는 $K$가 증가함에 따라 성능이 급격히 하락함으로써, 확장성과 적응 가능성에 한계가 있음을 보여준다.
• 특징별로 자율적으로 커널을 학습할 수 있는 능력이 복잡한 비선형 이미지 구조를 효과적으로 포착함으로써, 본 방법의 뛰어난 성능 기여 요소로 작용한다.