[논문 리뷰] Learning the Hierarchical Parts of Objects by Deep Non-Smooth Nonnegative Matrix Factorization

Jinshi Yu, Guoxu Zhou외 2명|arXiv (Cornell University)|2018. 03. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 3

한 줄 요약

이 논문은 비부드러운 비음수 행렬 분해(non-smooth NMF, nsNMF)를 확장하여 계층적이고 부분 기반의 특징을 학습할 수 있도록 다중 층을 스택한 계층적 딥 러닝 프레임워크인 딥 비부드러운 비음수 행렬 분해(Deep non-smooth nonnegative matrix factorization, dnsNMF)를 제안한다. nsNMF의 비음수성과 희소성 제어 기능을 딥 아키텍처와 융합함으로써, 데이터 무결성을 유지하면서도 얼굴 데이터셋에서 뛰어난 군집 성능을 달성한다.

ABSTRACT

Nonsmooth Nonnegative Matrix Factorization (nsNMF) is capable of producing more localized, less overlapped feature representations than other variants of NMF while keeping satisfactory fit to data. However, nsNMF as well as other existing NMF methods is incompetent to learn hierarchical features of complex data due to its shallow structure. To fill this gap, we propose a deep nsNMF method coined by the fact that it possesses a deeper architecture compared with standard nsNMF. The deep nsNMF not only gives parts-based features due to the nonnegativity constraints, but also creates higher-level, more abstract features by combing lower-level ones. The in-depth description of how deep architecture can help to efficiently discover abstract features in dnsNMF is presented. And we also show that the deep nsNMF has close relationship with the deep autoencoder, suggesting that the proposed model inherits the major advantages from both deep learning and NMF. Extensive experiments demonstrate the standout performance of the proposed method in clustering analysis.

연구 동기 및 목표

• 복잡한 데이터의 계층적이고 추상적인 특징을 학습하는 데에 한계가 있는 얕은 nsNMF의 문제를 해결하기 위해.
• 기존 NMF 변종에서 내재된 희소성과 데이터 피팅 간의 상충 관계를 극복하기 위해.
• nsNMF의 비음수성과 희소성의 이점을 유지하면서도 다중 수준의 추상화를 가능하게 하는 딥 아키텍처를 개발하기 위해.
• dnsNMF과 딥 오토인코더 사이의 이론적 및 실증적 연결을 수립하기 위해.
• 딥 러닝 기반의 비지도 표현 학습을 위한 nsNMF의 깊이 강화 전략의 효과성을 입증하기 위해.

제안 방법

• 비부드러운 NMF(nsNMF)의 다중 스택된 층으로 구성된 딥 아키텍처를 제안하며, 각 층은 스무딩 행렬 S를 적용한 nsNMF 모델을 적용한다.
• 계층적 분해를 통해 X ≈ Z₁(S₁Z₂(S₂…ZₖHₖ)…)를 구현함으로써 다중 수준의 특징 추상화를 가능하게 한다.
• 모든 요인 행렬(Zᵢ, Hᵢ, Sᵢ)에 대해 곱셈형 업데이트 규칙을 사용하여 비음수성과 수렴성을 보장한다.
• 목적 함수의 기울기의 리프시츠 연속성에 대한 증명을 제시하여 안정적인 최적화를 지원한다.
• dnsNMF와 제한된 딥 오토인코더 사이의 이론적 동치성을 확립하여 딥 러닝 원리와 연결한다.
• 최적화 성능 향상을 위해 파rameter 초기화를 위한 게으른 계층별 사전 훈련 전략을 적용한다.

실험 결과

연구 질문

• RQ1 딥 아키텍처는 낮은 수준의 부분 기반 특징을 넘어서 계층적이고 추상적인 특징을 학습하는 데 nsNMF의 능력을 향상시킬 수 있는가?
• RQ2 네트워크의 깊이가 dnsNMF의 군집 성능 및 특징 추상화에 어떤 영향을 미치는가?
• RQ3 dnsNMF와 딥 오토인코더 사이의 관계는 무엇이며, 이 연결고리는 모델의 표현 능력을 설명할 수 있는가?
• RQ4 dnsNMF는 특징 행렬과 표현 행렬 양쪽에서 높은 희소성과 함께 높은 데이터 피팅 정확도를 유지할 수 있는가?
• RQ5 실제 응용에서 군집 정확도와 계산 효율성의 균형을 고려할 때 최적의 깊이는 얼마인가?

주요 결과

• 표준 및 얕은 nsNMF에 비해 AT&T ORL, JAFFE, Yale 얼굴 데이터셋에서 dnsNMF가 군집 정확도를 크게 향상시킨다.
• 군집 정확도는 깊이가 증가함에 따라 특정 지점(예: 깊이 3–5)까지 증가하지만, 이후 성능이 정체되며 중간 깊이 이후에는 수익 감소 현상이 나타남을 보여, 과도한 깊이의 필요성이 없음을 시사한다.
• 스무딩 행렬 S를 통한 비부드러운 정규화 덕분에 표준 NMF 및 기타 변종에 비해 더 높은 희소성과 덜 겹치는 특징을 달성한다.
• 이론적 분석을 통해 dnsNMF의 목적 함수 기울기의 리프시츠 연속성이 확인되어 안정적인 최적화를 뒷받침한다.
• dnsNMF는 수학적으로 제한된 딥 오토인코더와 동치임을 확인하여, 딥 러닝과 NMF의 이점을 모두 유산으로 이어짐을 시사한다.
• 실험 결과, N-NMF, 딥 세미-NMF, SDNMF 등의 기존 딥 NMF 방법보다 군집 작업에서 더 뛰어난 성능을 보였다.