[논문 리뷰] Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering

Yuning Qiu, Guoxu Zhou외 1명|arXiv (Cornell University)|2017. 11. 20.

Face and Expression Recognition참고 문헌 20인용 수 10

한 줄 요약

이 논문은 계층적이고 저차원적이며 희박한 표현을 학습하기 위해 다중 레이어에서 비음수성과 근사 직교성을 동시에 강제하는 새로운 딥 행렬 분해 방법인 딥 근사 직교 비음수 행렬 분해(DAONMF)를 제안한다. 직교성 페널티를 통해 딥 아키텍처를 미세 조정함으로써, 기존의 최첨단 단일 레이어 및 딥 NMF 방법보다 얼굴 이미지 데이터셋에서 더 뛰어난 클러스터링 성능을 달성한다.

ABSTRACT

Nonnegative Matrix Factorization (NMF) is a widely used technique for data representation. Inspired by the expressive power of deep learning, several NMF variants equipped with deep architectures have been proposed. However, these methods mostly use the only nonnegativity while ignoring task-specific features of data. In this paper, we propose a novel deep approximately orthogonal nonnegative matrix factorization method where both nonnegativity and orthogonality are imposed with the aim to perform a hierarchical clustering by using different level of abstractions of data. Experiment on two face image datasets showed that the proposed method achieved better clustering performance than other deep matrix factorization methods and state-of-the-art single layer NMF variants.

연구 동기 및 목표

• 기존의 딥 행렬 분해 방법이 비음수성에만 의존하고 작업에 특화된 구조적 제약 조건인 직교성과 같은 요건을 忽시한다는 한계를 해결하기 위해.
• 직교성 강제 조건을 통해 계층적, 추상적, 저차원적 표현을 학습함으로써 클러스터링 성능을 향상시키기 위해.
• 다중 레이어에서의 비음수 행렬 분해에 근사 직교성을 통합하기 위해, 비직교 성분에 대한 페널티를 적용함으로써.
• 딥, 근사 직교 분해가 기존의 표준 또는 단일 레이어 NMF 변형보다 더 나은 클러스터링 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 맵핑 행렬 W를 레이어 간에 계층적으로 분해함으로써 딥 세미-NMF를 확장하여 데이터 특징의 더 깊은 추상화를 가능하게 한다.
• 각 레이어의 H 행렬에 대해 근사 직교성 페널티를 도입하며, 이는 정규화 파rameter λ로 제어되어 중복을 최소화하고 클러스터의 구별성을 향상시킨다.
• 최적화는 블록 좌표 강하 방식을 응용한 수정된 HALS 알고리즘을 사용하며, 비음수성 조건을 투영을 통해 강제하면서 W와 H를 반복적으로 갱신한다.
• 라그랑주 함수를 기반으로 한 폐쇄형 업데이트 규칙을 도출하여, 직교성 제약 조건을 고려한 W와 H의 교차 업데이트를 통해 미세 조정을 수행한다.
• 이 알고리즘은 이중 단계 프로세스를 사용한다: 초기 단계로 각 레이어별 AONMF 초기화를 수행한 후, 레이어 간 종속성을 고려한 모든 레이어의 반복적 개선을 수행한다.
• 최종 H 행렬의 열 정규화를 통해 L2 노름을 단위로 유지함으로써, 마지막 레이어에서의 직교성을 촉진한다.

실험 결과

연구 질문

• RQ1 딥 NMF 프레임워크에서 다중 레이어에 걸쳐 근사 직교성을 강제하면, 기존의 표준 또는 얕은 NMF 방법보다 클러스터링 성능 향상이 가능할까?
• RQ2 단지 H가 아닌 W 행렬의 계층적 분해가 클러스터링을 위한 고차원적 특징의 추상화를 더 잘 이끌어낼 수 있을까?
• RQ3 직교성 제약 조건의 통합은 딥 행렬 분해에서 학습된 표현의 희박성과 구별성에 어떤 영향을 미치는가?
• RQ4 딥 행렬 분해의 성능은 더 깊은 레이어의 성분 수에 민감한가? 이는 단일 레이어 방법과 비교해 볼 때 어떻게 다를까?

주요 결과

• CMU PIE 데이터셋에서 DAONMF는 단일 레이어 AONMF와 Deep Semi-NMF보다 더 높은 클러스터링 정확도와 정규화 상호정보량(NMI)을 달성했다.
• 확장된 Yale B 데이터셋에서 DAONMF는 Deep Semi-NMF를 능가했으며, 모든 테스트 성분 수에서 AONMF와 동등하거나 슈퍼어리어한 클러스터링 성능를 보였다.
• 이 방법은 직교성 제약 조건이 있는 더 깊은 표현이 더 구별성 있고 중복이 적은 특징을 제공함으로써 클러스터링 결과를 향상시킨다는 점을 입증했다.
• 다중 레이어 NMF의 경우 성분 수 증가로 성능 저하가 있었지만, 단일 레이어 AONMF는 성능을 유지하거나 향상시켰으며, 이는 특정 설정에서의 강건성을 시사한다.
• 레이어별 직교성 페널티를 통한 미세 조정은 ACC와 NMI 양면에서 일관된 향상을 보이며, 특징 추상화의 향상이 뚜렷하게 나타났다.