[논문 리뷰] Document Clustering Based On Max-Correntropy Non-Negative Matrix Factorization

Le Li, Jianjun Yang외 3명|arXiv (Cornell University)|2014. 10. 03.

Face and Expression Recognition참고 문헌 26인용 수 8

한 줄 요약

이 논문은 비선형성과 고차원 데이터에서 성능을 햖थ하기 위해 원본 문서 행렬과 그의 저랭크 근사 간의 상관관계를 최대화하는 새로운 문서 군집화 방법인 Max-Correntropy Non-negative Matrix Factorization (MCC-NMF)을 제안한다. $l_2$ 또는 KL 발산을 사용하는 기존 NMF 변종에 비해 성능이 뛰어나며, 주로 주제 수가 증가할수록 두드러진다. Reuters21578 및 TDT2 데이터셋에서 높은 정확도와 강건성을 입증한다.

ABSTRACT

Nonnegative matrix factorization (NMF) has been successfully applied to many areas for classification and clustering. Commonly-used NMF algorithms mainly target on minimizing the $l_2$ distance or Kullback-Leibler (KL) divergence, which may not be suitable for nonlinear case. In this paper, we propose a new decomposition method by maximizing the correntropy between the original and the product of two low-rank matrices for document clustering. This method also allows us to learn the new basis vectors of the semantic feature space from the data. To our knowledge, we haven't seen any work has been done by maximizing correntropy in NMF to cluster high dimensional document data. Our experiment results show the supremacy of our proposed method over other variants of NMF algorithm on Reuters21578 and TDT2 databasets.

연구 동기 및 목표

• 표준 NMF 알고리즘의 한계를 해결하기 위해 $l_2$ 또는 KL 발산에 의존하는 기존 방법이 비선형성과 고차원 문서 데이터에서 성능이 떨어질 수 있음을 고려한다.
• 문서 군집화에서 상관관계 최대화의 잠재력을 탐색하여 NMF의 새로운 목적 함수로 활용함으로써 성능 향상을 도모한다.
• 주제 수 증가와 고차원 데이터에서 제안된 방법의 강건성과 확장성 평가.
• 실제 문서 군집화 작업에서 상관관계 기반 NMF가 기존 NMF 변종보다 뛰어나다는 것을 입증한다.

제안 방법

• 문서 군집화 문제를 비음수 행렬 분해 문제로 설정하여 문서-어휘 행렬 $X$를 두 개의 저랭크 비음수 행렬 $W$와 $H$로 분해함으로써 $X \approx WH$를 만족시킨다.
• $l_2$ 또는 KL 발산을 최소화하는 대신 핵심 혁신은 $X$와 $WH$ 간의 상관관계를 최대화하는 것으로, 이는 이방성에 대한 강건성 향상과 비선형 관계의 포착에 기여한다.
• 비음수 제약 조건을 유지하면서도 상관관계 목적 함수에 대해 경사 상승법을 사용한 반복적 최적화 알고리즘을 적용한다.
• 핵심 함수 기반 표현을 적응적으로 학습함으로써 복잡한 비선형 데이터 분포에서 관련 특징을 자가 학습하고 군집화 성능을 향상시킨다.
• 최적화 과정에서 비음수성을 유지하기 위해 사영된 경사 방법을 구현한다.
• 최종 군집 레이블은 예측된 군집과 진짜 주제를 매칭하기 위해 Kuhn-Munkres 알고리즘을 사용하여 할당한다.

실험 결과

연구 질문

• RQ1 고차원 비선형 데이터에서 상관관계 최대화가 $l_2$ 및 KL 발산 기반 NMF 방법에 비해 문서 군집화 성능 향상에 기여하는가?
• RQ2 주제 수가 증가함에 따라 제안된 MCC-NMF 방법의 성능은 어떻게 변화하는가? 특히 정확도 감소와 강건성 측면에서 평가한다.
• RQ3 상관관계 기반 목적 함수는 잠재적 의미 공간에서 문서 군집화를 위한 더 나은 특징 학습과 표현을 가능하게 하는가?
• RQ4 다양한 데이터셋에서 GS-CLS 및 PG-NMF와 같은 고급 NMF 변종과 비교할 때 MCC-NMF의 군집 정확도는 어떠한가?

주요 결과

• Reuters21578 데이터셋에서 MCC-NMF는 $K=2$일 때 0.911의 군집 정확도를 기록하여 $l_2$ (0.839), KL (0.871), GS-CLS (0.894), PG (0.838) 변종을 크게 앞서며 성능을 뛰어나게 하였다.
• TDT2 데이터셋에서 MCC-NMF는 $K=2$일 때 0.927의 정확도를 기록하여 $l_2$ (0.824), KL (0.845), GS-CLS (0.881), PG (0.863) 방법을 모두 앞섰다.
• 주제 수가 $K=10$으로 증가함에 따라 MCC-NMF는 Reuters21578에서 0.736의 높은 정확도를 유지하였고, $l_2$ (0.403), KL (0.457), GS-CLS (0.719), PG (0.415)에 비해 뛰어난 성능을 보였다.
• MCC-NMF는 주제 수 증가에 따라 가장 강건한 성능을 보였으며, 정확도 감소 속도가 가장 느려 확장성 측면에서 뛰어난 성능을 보였다.
• MCC-NMF는 Reuters21578 및 TDT2 데이터셋에서 모두 모든 기준선을 뛰어넘었으며, 특히 다중 주제 및 고차원 환경에서 두드러진 성능을 보였다.
• 결과는 상관관계 최대화가 기존 손실 함수보다 문서 군집화에서 더 나은 비선형 특징 표현과 군집화 성능을 가능하게 한다는 것을 확인시켰다.