[논문 리뷰] Approximate Nonnegative Matrix Factorization via Alternating Minimization

Lorenzo Finesso, Peter Spreij|ArXiv.org|2004. 02. 13.

Matrix Theory and Algorithms참고 문헌 11인용 수 29

한 줄 요약

이 논문은 근사 비음수 행렬 분해(NMF)를 교대 최소화를 통해 푸는 I-발산 최소화 문제로 공식화하며, 널리 사용되는 곱셈 업데이트 알고리즘을 Csiszár-Tusnády 교대 투영 프레임워크의 한 예로 해석한다. 주요 기여는 피타고라스 항등식을 통해 알고리즘의 수렴성과 안정성을 증명하고, I-발산이 매 반복마다 단조 감소함을 보여, 정적점으로의 수렴을 보장한다는 것이다.

ABSTRACT

In this paper we consider the Nonnegative Matrix Factorization (NMF) problem: given an (elementwise) nonnegative matrix $V \in \R_+^{m imes n}$ find, for assigned $k$, nonnegative matrices $W\in\R_+^{m imes k}$ and $H\in\R_+^{k imes n}$ such that $V=WH$. Exact, non trivial, nonnegative factorizations do not always exist, hence it is interesting to pose the approximate NMF problem. The criterion which is commonly employed is I-divergence between nonnegative matrices. The problem becomes that of finding, for assigned $k$, the factorization $WH$ closest to $V$ in I-divergence. An iterative algorithm, EM like, for the construction of the best pair $(W, H)$ has been proposed in the literature. In this paper we interpret the algorithm as an alternating minimization procedure à la Csiszár-Tusnády and investigate some of its stability properties. NMF is widespreading as a data analysis method in applications for which the positivity constraint is relevant. There are other data analysis methods which impose some form of nonnegativity: we discuss here the connections between NMF and Archetypal Analysis. An interesting system theoretic application of NMF is to the problem of approximate realization of Hidden Markov Models.

연구 동기 및 목표

• 교대 최소화 절차로 해석함으로써 근사 비음수 행렬 분해(NMF)에 사용되는 곱셈 업데이트 알고리즘에 대한 이론적 기반을 제공하기 위해.
• I-발산 기준과 Csiszár-Tusnády 피타고라스 프레임워크를 사용하여 NMF 알고리즘의 수렴성과 안정성 성질을 확립하기 위해.
• L2 및 I-발산 기준 하에서 아카이타입 분석과 같은 다른 비음수 데이터 분석 방법과의 관계를 명확히 하기 위해.
• 기존 행렬 $ V $ 와 근사 분해 $ WH $ 사이의 I-발산이 반복 과정 동안 단조 감소함을 보여, 수렴을 보장하기 위해.

제안 방법

• 비음수 행렬 $ V $ 와 그 분해 $ WH $ 사이의 I-발산 $ D(V||WH) $ 를 최소화하는 문제로 공식화하며, 여기서 $ W \in \mathbb{R}_{+}^{m\times k} $, $ H \in \mathbb{R}_{+}^{k\times n} $ 이다.
• Csiszár-Tusnády 프레임워크를 사용하여 교대 최소화 절차를 적용함으로써 $ W $ 와 $ H $ 에 대해 $ D(V||WH) $ 를 번갈아가며 최소화하고, 업데이트 규칙을 유도한다.
• 업데이트 규칙은 $ W^{n+1}_{il} = \sum_j \frac{W^n_{il} H^n_{lj} V_{ij}}{(W^n H^n)_{ij}} $ 와 $ H^{n+1}_{lj} = \sum_i \frac{W^n_{il} H^n_{lj} V_{ij}}{(W^n H^n)_{ij}} $ 로 유도되며, 이는 표준 곱셈 업데이트와 일치한다.
• 피타고라스 항등식을 통해 수렴성을 확립한다: $ D(V||W^n H^n) \geq D(V||W^{n+1} H^{n+1}) $ 로서, I-발산의 단조 감소를 보여준다.
• 목적 함수 $ F(W,H) = \sum_{ij} (V_{ij} \log(WH)_{ij} - (WH)_{ij}) $ 의 정적점으로 알고리즘이 수렴함을 보이며, 이는 부분 도함수가 0이 되는 점이다.
• 비일관성 방지를 위해 $ H $ 에 행 스토하스틱 제약 조건을 도입하며, 일반성을 잃지 않고 대각 스케일링 행렬을 사용하여 정규화한다.

실험 결과

연구 질문

• RQ1 NMF에 대한 곱셈 업데이트 알고리즘은 교대 최소화와 정보 이론적 발산을 사용하여 어떻게 엄밀히 정당화될 수 있는가?
• RQ2 NMF의 맥락에서 I-발산 최소화 알고리즘의 수렴성과 안정성 성질은 무엇인가?
• RQ3 다양한 기준 하에서 NMF 알고리즘은 아카이타입 분석과 같은 다른 비음수 데이터 분석 기법과 어떻게 관련이 있는가?
• RQ4 Csiszár-Tusnády 프레임워크의 피타고라스 항등식을 사용하여 반복 과정 중 I-발산의 단조 감소를 엄밀히 증명할 수 있는가?
• RQ5 어떤 조건에서 알고리즘이 정적점으로 수렴하며, 그러한 점은 무엇으로 특징지어지는가?

주요 결과

• 교대 최소화 알고리즘의 매 반복 단계에서 I-발산 $ D(V||WH) $ 는 엄격하게 감소하며, 정적점으로의 수렴을 보장한다.
• I-발산 최소화에서 유도된 곱셈 업데이트 규칙은 Csiszár-Tusnády 프레임워크 내의 교대 최소화 단계와 동일하다.
• 목적 함수 $ F(W,H) $ 의 정적점으로 알고리즘이 수렴하며, 이는 $ F $ 를 $ W $ 와 $ H $ 에 대해 미분한 부분 도함수가 0이 되는 점이다.
• $ \{W^n, H^n\} $ 의 수열은 유계이며 컴act 집합 내에서 변화하므로, 반복의 안정성을 보장한다.
• 피타고라스 항등식 $ D(V||W^n H^n) = D(V||W^{n+1} H^{n+1}) + D(W^n H^n || W^{n+1} H^{n+1}) + D(H^{n+1} || H^n) $ 이 성립하며, 이는 수렴의 이론적 근거를 제공한다.
• 행 스토하스틱 제약 조건은 스케일링에 대해 유일성을 보장하며, 정규화 하에 알고리즘이 여전히 유효하다.