[논문 리뷰] Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction

Youngmin Cho, Lawrence K. Saul|arXiv (Cornell University)|2011. 12. 16.

Face and Expression Recognition참고 문헌 26인용 수 10

한 줄 요약

이 논문은 분류에 유용한 성분을 대용량 마진 분류기로 식별함으로써 레이블이 붙은 데이터를 차원 축소 과정에 통합하는 반감독형 비음수 행렬 분해(NMF) 방법을 제안한다. 이 방법은 수렴을 보장하는 곱셈형 업데이트를 사용하며, 후행 선형 분류 작업에서 비감독형 NMF와 표준 SVM보다 뛰어난 성능을 보이며, 원래의 입력 공간에서 일반적이고 전도적(SVM)보다도 높은 정확도를 종종 달성한다.

ABSTRACT

We show how to incorporate information from labeled examples into nonnegative matrix factorization (NMF), a popular unsupervised learning algorithm for dimensionality reduction. In addition to mapping the data into a space of lower dimensionality, our approach aims to preserve the nonnegative components of the data that are important for classification. We identify these components from the support vectors of large-margin classifiers and derive iterative updates to preserve them in a semi-supervised version of NMF. These updates have a simple multiplicative form like their unsupervised counterparts; they are also guaranteed at each iteration to decrease their loss function---a weighted sum of I-divergences that captures the trade-off between unsupervised and supervised learning. We evaluate these updates for dimensionality reduction when they are used as a precursor to linear classification. In this role, we find that they yield much better performance than their unsupervised counterparts. We also find one unexpected benefit of the low dimensional representations discovered by our approach: often they yield more accurate classifiers than both ordinary and transductive SVMs trained in the original input space.

연구 동기 및 목표

• 감독되지 않은 NMF를 향상시키기 위해 레이블이 붙은 예제를 통합하여 반감독형 차원 축소를 향상시키기.
• 대용량 마진 분류기에서 유도된 서포트 벡터를 활용하여 분류에 중요한 비음수 성분을 유지하기.
• 감독되지 않은 학습과 감독된 학습 목표를 균형 잡는 수렴 보장된 곱셈형 업데이트 규칙 개발하기.
• 선형 분류를 위한 전처리 단계로 이 방법을 평가하고, 비감독형 NMF와 표준 SVM과의 성능을 비교하기.

제안 방법

• 레이블이 붙은 데이터에 대해 훈련된 대용량 마진 분류기에서 유도된 서포트 벡터를 사용하여 분류에 관련된 성분을 식별한다.
• 재구성 오차(비감독형)와 분류 충실도(감독형)를 균형 잡기 위해 가중치가 부여된 I-발산의 합으로 손실 함수를 설정한다.
• 손실 함수를 최소화하기 위해 곱셈형 업데이트 규칙을 유도하며, 이 과정에서 식별된 비음수 성분을 유지한다.
• 각 반복에서 손실 함수가 감소함을 보장하여 수렴을 확보한다.
• 감독되지 않은 데이터와 감독된 데이터를 모두 사용하는 반감독 설정에서 알고리즘이 작동한다.
• 유도된 저차원 표현은 평가를 위해 선형 분류기의 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 레이블이 붙은 데이터를 통합함으로써 비음수 행렬 분해(NMF)가 반감독 학습으로 효과적으로 확장될 수 있는가?
• RQ2 NMF 분해 과정에서 분류에 관련된 성분은 어떻게 식별하고 유지할 수 있는가?
• RQ3 제안된 방법이 비감독형 NMF보다 낮은 차원의 표현을 만들어내어 선형 분류 성능을 향상시키는가?
• RQ4 원래의 입력 공간에서 사용될 경우, 반감독형 NMF 접근법이 표준 SVM과 전도적(SVM)보다 뛰어나게 성능을 내는가?

주요 결과

• 제안된 반감독형 NMF 방법은 전처리 단계로 사용되었을 때 비감독형 NMF보다 분류 정확도가 뚜렷이 향상됨을 보였다.
• 이 방법이 학습한 저차원 표현은 원래의 입력 공간에서 직접 훈련된 일반적이고 전도적 SVM보다 더 나은 분류기를 종종 생성한다.
• 곱셈형 업데이트 규칙은 각 반복에서 손실 함수가 감소함을 보장하여 수렴을 보장한다.
• 대용량 마진 분류기에서 유도된 서포트 벡터를 활용함으로써 분류에 중요한 것으로 식별된 비음수 성분을 성공적으로 유지한다.
• 가중치가 부여된 I-발산 손실을 통해 감독되지 않은 데이터 재구성과 감독된 분류 성능 사이의 유리한 트레이드오프를 달성한다.
• 실증 결과는 반감독형 NMF가 여러 데이터셋에서 비감독형 대비 일관되게 뛰어난 성능을 내고 있음을 보여준다.