[論文レビュー] Approximate Nonnegative Matrix Factorization via Alternating Minimization

Lorenzo Finesso, Peter Spreij|ArXiv.org|Feb 13, 2004

Matrix Theory and Algorithms参考文献 11被引用数 29

ひとこと要約

この論文は、交互最小化を用いて近似非負行列分解（NMF）をI発散最小化問題として定式化し、広く用いられる乗法的更新アルゴリズムをCsiszár-Tusnádyの交互射影フレームワークの一種と解釈する。主な貢献は、ピタゴラス的恒等式を用いてアルゴリズムの収束性と安定性を証明し、I発散が各反復で単調に減少することを示し、定常点への収束を保証することである。

ABSTRACT

In this paper we consider the Nonnegative Matrix Factorization (NMF) problem: given an (elementwise) nonnegative matrix $V \in \R_+^{m imes n}$ find, for assigned $k$, nonnegative matrices $W\in\R_+^{m imes k}$ and $H\in\R_+^{k imes n}$ such that $V=WH$. Exact, non trivial, nonnegative factorizations do not always exist, hence it is interesting to pose the approximate NMF problem. The criterion which is commonly employed is I-divergence between nonnegative matrices. The problem becomes that of finding, for assigned $k$, the factorization $WH$ closest to $V$ in I-divergence. An iterative algorithm, EM like, for the construction of the best pair $(W, H)$ has been proposed in the literature. In this paper we interpret the algorithm as an alternating minimization procedure à la Csiszár-Tusnády and investigate some of its stability properties. NMF is widespreading as a data analysis method in applications for which the positivity constraint is relevant. There are other data analysis methods which impose some form of nonnegativity: we discuss here the connections between NMF and Archetypal Analysis. An interesting system theoretic application of NMF is to the problem of approximate realization of Hidden Markov Models.

研究の動機と目的

• 交互最小化手順として解釈することで、近似非負行列分解（NMF）に用いられる乗法的更新アルゴリズムの理論的基盤を提供すること。
• I発散基準とCsiszár-Tusnádyのピタゴラス的フレームワークを用いて、NMFアルゴリズムの収束性と安定性の性質を確立すること。
• L2およびI発散基準の下で、NMFと他の非負データ解析手法（例：アーキタイプ分析）との関係を明確にすること。
• 反復の過程で、元の行列 $ V $ と近似因子分解 $ WH $ 間のI発散が単調に減少することを示し、収束を保証すること。

提案手法

• 非負行列 $ V $ とその因子分解 $ WH $ 間のI発散 $ D(V||WH) $ の最小化問題として定式化し、$ W \in \mathbb{R}_{+}^{m\times k} $、$ H \in \mathbb{R}_{+}^{k\times n} $ とする。
• Csiszár-Tusnádyフレームワークを用いて、$ W $ と $ H $ の両方について交互に $ D(V||WH) $ を最小化する交互最小化手順を適用し、更新則を導出する。
• 更新則は $ W^{n+1}_{il} = \sum_j \frac{W^n_{il} H^n_{lj} V_{ij}}{(W^n H^n)_{ij}} $ および $ H^{n+1}_{lj} = \sum_i \frac{W^n_{il} H^n_{lj} V_{ij}}{(W^n H^n)_{ij}} $ として得られ、標準的な乗法的更新と一致する。
• ピタゴラス的恒等式を用いて収束を確立する：$ D(V||W^n H^n) \geq D(V||W^{n+1} H^{n+1}) $ により、I発散の単調減少が示され、収束が保証される。
• 目的関数 $ F(W,H) = \sum_{ij} (V_{ij} \log(WH)_{ij} - (WH)_{ij}) $ の定常点にアルゴリズムが収束することが示され、偏微分がすべてゼロになる。
• 一意性を回避するため、$ H $ に行確率的制約を課し、対角スケーリング行列による正規化を用いることで、一般性を失わずに行う。

実験結果

リサーチクエスチョン

• RQ1 NMFの乗法的更新アルゴリズムは、交互最小化と情報理論的発散を用いてどのように形式的に正当化できるか？
• RQ2 NMFの文脈において、I発散最小化アルゴリズムの収束性と安定性の性質は何か？
• RQ3 L2およびI発散基準の下で、NMFアルゴリズムは他の非負データ解析手法（例：アーキタイプ分析）とどのように関係しているか？
• RQ4 Csiszár-Tusnádyフレームワークにおけるピタゴラス的恒等式を用いて、反復中のI発散の単調減少を厳密に証明できるか？
• RQ5 アルゴリズムが定常点に収束する条件は何か？また、そのような点はどのように特徴づけられるか？

主な発見

• 交互最小化アルゴリズムの各反復において、I発散 $ D(V||WH) $ は厳密に減少し、定常点への収束が保証される。
• I発散最小化から導出された乗法的更新則は、Csiszár-Tusnádyフレームワークにおける交互最小化ステップと等価である。
• 目的関数 $ F(W,H) $ の定常点にアルゴリズムが収束し、$ F $ に対する $ W $ および $ H $ の偏微分がすべてゼロになる。
• 列 $ \{W^n, H^n\} $ は有界であり、コンパクト集合内を移動するため、反復の安定性が保証される。
• ピタゴラス的恒等式 $ D(V||W^n H^n) = D(V||W^{n+1} H^{n+1}) + D(W^n H^n || W^{n+1} H^{n+1}) + D(H^{n+1} || H^n) $ が成り立ち、収束の理論的根拠が得られる。
• $ H $ に行確率的制約を課すことで、スケーリングを除き一意性が保証され、この正規化のもとでもアルゴリズムは有効である。