[論文レビュー] Kernel Nonnegative Matrix Factorization Without the Curse of the Pre-image - Application to Unmixing Hyperspectral Images

Fei Zhu, Paul Honeiné+1 more|arXiv (Cornell University)|Jul 16, 2014

Remote-Sensing Image Classification参考文献 54被引用数 8

ひとこと要約

本稿では、勾配法と乗法的更新則を用いて入力空間で因子分解行列を直接推定することで、事前像問題を回避する新しいカーネル非負行列分解（NMF）フレームワークを提案する。多様なカーネル関数、特に多項式カーネルおよびガウスカーネルを含む複数のカーネルタイプにおいて、ハイパースペクトル画像のアンミキシングにおいて最先端の性能を達成し、精度とロバスト性が向上している。

ABSTRACT

The nonnegative matrix factorization (NMF) is widely used in signal and image processing, including bio-informatics, blind source separation and hyperspectral image analysis in remote sensing. A great challenge arises when dealing with a nonlinear formulation of the NMF. Within the framework of kernel machines, the models suggested in the literature do not allow the representation of the factorization matrices, which is a fallout of the curse of the pre-image. In this paper, we propose a novel kernel-based model for the NMF that does not suffer from the pre-image problem, by investigating the estimation of the factorization matrices directly in the input space. For different kernel functions, we describe two schemes for iterative algorithms: an additive update rule based on a gradient descent scheme and a multiplicative update rule in the same spirit as in the Lee and Seung algorithm. Within the proposed framework, we develop several extensions to incorporate constraints, including sparseness, smoothness, and spatial regularization with a total-variation-like penalty. The effectiveness of the proposed method is demonstrated with the problem of unmixing hyperspectral images, using well-known real images and results with state-of-the-art techniques.

研究の動機と目的

• カーネルNMFにおける事前像問題を解消し、入力空間における因子分解行列の回復を可能にする。
• 事前像計算を明示的に行わず、入力空間でエンドメンバーと混合係数を直接推定するカーネルNMFフレームワークを構築する。
• 多様なカーネル関数に適応可能な反復的最適化アルゴリズム（勾配降下法と乗法的更新則）を提案する。
• スパarsity、滑らかさ、全変動型空間正則化といった物理的・構造的制約を統合し、アンミキシング精度を向上させる。
• 実際のハイパースペクトル画像上での有効性を実証し、最先端の手法を上回るアンミキシング性能を示す。

提案手法

• 事前像再構成の必要性を回避するため、入力空間で因子分解行列を直接推定することでカーネルNMFを定式化する。
• 2つの反復的更新スキームを提案：加法的勾配降下更新とLeeとSeungのアルゴリズムにインspiredされた乗法的更新則。
• 多項式カーネルやガウスカーネルなどのカーネル関数を用い、データを再生核ヒルベルト空間（RKHS）にマップしつつ、計算の tractability を維持する。
• ℓ1ノルム正則化によるスパarsity制約と、全変動型ペナルティによる滑らかさ制約を統合し、物理的解釈可能性を向上させる。
• 最適化の全過程でエンドメンバーと混合係数の非負性を保証し、NMFの部分ベース表現を維持する。
• 特定の条件下で非負性と収束性を保証する更新則を導出するが、全体の問題は非凸であることに注意する。

実験結果

リサーチクエスチョン

• RQ1 カーネルNMFを事前像問題に依存せずに定式化し、入力空間で因子分解行列を直接推定可能にすることができるか？
• RQ2 非凸性を示す非線形カーネルの影響を受けるカーネルNMFに対して、安定的かつ収束性を有する反復的アルゴリズムを設計できるか？
• RQ3 提案されたカーネルNMFフレームワーク下で、スパarsityと空間正則化がハイパースペクトル画像のアンミキシング精度にどの程度寄与するか？
• RQ4 スペクトル再構成精度および混合係数再構成精度の観点から、提案手法は最先端技術と比較してどのように優れているか？
• RQ5 実世界のハイパースペクトルアンミキシングタスクにおいて、多項式カーネルやガウスカーネルといった異なるカーネルタイプに対して、提案フレームワークはロバスト性を示せるか？

主な発見

• 提案されたカーネルNMFフレームワークは、入力空間で因子分解行列を直接推定することで、事前像問題を効果的に回避し、実用的かつ解釈可能な解決策を提供した。
• 乗法的更新則は、非凸性のためコスト関数の単調減少を保証しないものの、実験では実用的収束性と安定性を示した。
• 多項式カーネルおよびガウスカーネルにおいて、コスト関数のヘッシアンが正定値半定値であるとは保証されないため、部分最適化問題は非凸であると判明し、理論的分析と整合的である。
• 実際のハイパースペクトルデータセットにおいて、提案手法はスペクトル角度距離および混合係数のルート平均二乗誤差の観点で、既存の最先端手法を上回るアンミキシング性能を達成した。
• 全変動型ペナルティによる空間正則化を組み込むことで、推定された混合係数マップの空間的整合性が著しく向上した。
• フレームワークは柔軟かつ拡張可能であり、スパarsity、滑らかさ、合計が1になる混合係数制約といった複数の制約を統合可能で、物理的妥当性を強化できる。