[논문 리뷰] Algorithms for nonnegative matrix factorization with the beta-divergence

Cédric Févotte, Jérôme Idier|arXiv (Cornell University)|2010. 10. 08.

Blind Source Separation Techniques참고 문헌 44인용 수 29

한 줄 요약

이 논문은 $β$-divergence 비용 함수를 사용한 비음수 행렬 분해(NMF)를 위한 통합 프레임워크를 제안한다. $β \in (0,1)$ 범위에서 증명 가능한 단조성 보장을 갖는 주요화-최소화(MM) 알고리즘과, 보조 함수의 등수집을 따라 이동함으로써 수렴 속도를 높이는 새로운 주요화-등치화(ME) 알고리즘을 도입한다. ME 접근법은 표준 승법 업데이트와 동일한 계산 복잡도를 유지하면서도 더 빠른 수렴을 달성한다.

ABSTRACT

This paper describes algorithms for nonnegative matrix factorization (NMF) with the beta-divergence (beta-NMF). The beta-divergence is a family of cost functions parametrized by a single shape parameter beta that takes the Euclidean distance, the Kullback-Leibler divergence and the Itakura-Saito divergence as special cases (beta = 2,1,0, respectively). The proposed algorithms are based on a surrogate auxiliary function (a local majorization of the criterion function). We first describe a majorization-minimization (MM) algorithm that leads to multiplicative updates, which differ from standard heuristic multiplicative updates by a beta-dependent power exponent. The monotonicity of the heuristic algorithm can however be proven for beta in (0,1) using the proposed auxiliary function. Then we introduce the concept of majorization-equalization (ME) algorithm which produces updates that move along constant level sets of the auxiliary function and lead to larger steps than MM. Simulations on synthetic and real data illustrate the faster convergence of the ME approach. The paper also describes how the proposed algorithms can be adapted to two common variants of NMF : penalized NMF (i.e., when a penalty function of the factors is added to the criterion function) and convex-NMF (when the dictionary is assumed to belong to a known subspace).

연구 동기 및 목표

• β-divergence 프레임워크 하에서 기존의 승법 알고리즘을 통합 및 일반화하기 위해.
• 보조 보조 함수를 사용하여 $β \in (0,1)$ 범위에서 히وري스틱 승법 알고리즘의 엄밀한 수렴 보장을 확립하기 위해.
• 더 큰 업데이트 스텝과 더 빠른 수렴을 가능하게 하는 새로운 주요화-등치화(ME) 알고리즘을 도입하기 위해.
• 벌점 NMF 및 볼록-NMF를 보완하기 위해 보조 함수 접근법에 정규화 항과 부분공간 제약 조건을 통합하기 위해.

제안 방법

• 현재 반복값에서 정확하게 맞는 보조 보조 함수를 유도하여 $β$-divergence 기준을 주요화한다.
• 이 보조 함수를 기반으로 주요화-최소화(MM) 알고리즘을 개발하여, $β$-의존적 지수를 갖는 승법 업데이트를 도출한다.
• 보조 함수의 등수집을 따라 이동함으로써 더 크고 효율적인 업데이트 스텝을 가능하게 하는 주요화-등치화(ME) 알고리즘을 도입한다.
• 보조 함수가 $G({\mathbf{h}}^{\text{H}}|\tilde{{\mathbf{h}}}) \leq G(\tilde{{\mathbf{h}}}|\tilde{{\mathbf{h}}})$ 를 만족함을 보여, 히وري스틱 알고리즘의 단조성을 증명한다.
• 정규화(예: $β$-norm 펜alties를 포함한 $β$-divergence) 및 볼록-NMF(사전지식 기반 딕셔너리 제약 조건 포함)를 다룰 수 있도록 프레임워크를 적응시킨다.
• ME 알고리즘이 $β \in \{0, 0.5, 1.5, 2\}$ 일 때 1차 또는 2차 다항방정식을 풀이하는 것으로 줄어들어 효율적인 계산이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 기존 증명이 다루지 않은 $β \in (0,1)$ 범위에서 히وري스틱 승법 알고리즘이 $β$-NMF에 대해 단조성을 갖는지 증명할 수 있는가?
• RQ2 보조 함수의 구조를 활용하여 표준 MM 또는 히وري스틱 방법보다 더 빠른 수렴을 달성할 수 있는 새로운 알고리즘을 설계할 수 있는가?
• RQ3 보조 함수 프레임워크를 정규화된 NMF 및 부분공간 제약 조건이 있는 볼록-NMF에 어떻게 확장할 수 있는가?
• RQ4 제안된 알고리즘의 수렴 행동은 어떠한가? 단조성은 $β \in [0,2]$ 범위를 초월해 확립될 수 있는가?
• RQ5 ME 알고리즘은 다른 $β$ 값으로 일반화될 수 있으며, 수렴 속도와 안정성은 유지되는가?

주요 결과

• 제안된 보조 함수를 기반으로 한 MM 알고리즘은 모든 $β \in \mathbb{R}$ 에 대해 승법 업데이트를 도출하며, $β \in (0,1)$ 에서 단조성이 증명되어 이전 결과를 확장한다.
• 히وري스틱 승법 알고리즘이 이제 전체 범위 $β \in [0,2]$ 에 대해 단조성이 증명되어, 이전에 $β=0,1,2$ 에 대해 각각 다뤄진 결과들을 통합한다.
• 모의 실험을 통해 보조 함수의 등수집을 따라 이동함으로써 ME 알고리즘이 MM 및 히وري스틱 방법보다 더 빠른 수렴을 달성함을 입증하였다.
• $β \in \{0, 0.5, 1.5, 2\}$ 일 때 ME 업데이트는 1차 또는 2차 다항방정식을 풀이하는 것으로 줄어들어 효율적인 계산이 가능하다.
• 프레임워크는 정규화된 NMF로 일반화되어, $β$-divergence에 $β$-노름 페널티를 적용한 경우에도 단순한 승법 업데이트를 도출한다.
• 딕셔너리가 알려진 부분공간에 제약을 받는 볼록-NMF의 경우 제안된 알고리즘이 단조성과 수렴성을 유지하며, 기존 방법들을 일반화하고 증명한다.