[論文レビュー] Analysis of the robustness of NMF algorithms

Alex Díaz, Damian Steele|arXiv (Cornell University)|Jun 4, 2021

Neural Networks and Applications被引用数 2

ひとこと要約

本稿では、ORLおよびYaleBデータセットを用いて、さまざまなノイズ条件下での3つの非負値行列分解（NMF）アルゴリズム—L2ノルム、L1ノルム、L2,1ノルム—のロバスト性を評価している。L2,1ノルムNMFが、再構成精度およびロバスト性において一貫してL2ノルムおよびL1ノルムを上回ることを示しており、特にガウスノイズおよびラプラスノイズ下で顕著である。一方、L1ノルムは高い計算コストと遅い収束性を示す。

ABSTRACT

We examine three non-negative matrix factorization techniques; L2-norm, L1-norm, and L2,1-norm. Our aim is to establish the performance of these different approaches, and their robustness in real-world applications such as feature selection while managing computational complexity, sensitivity to noise and more. We thoroughly examine each approach from a theoretical perspective, and examine the performance of each using a series of experiments drawing on both the ORL and YaleB datasets. We examine the Relative Reconstruction Errors (RRE), Average Accuracy and Normalized Mutual Information (NMI) as criteria under a range of simulated noise scenarios.

研究の動機と目的

• さまざまなノイズ条件下でのL2、L1、L2,1ノルムNMFアルゴリズムのロバスト性を評価すること。
• 相対的再構成誤差（RRE）、平均正答率（ACC）、正規化相互情報量（NMI）を用いた性能評価を行うこと。
• 異なるノイズタイプにおける計算複雑性および収束特性を調査すること。
• ロバストNMF手法の初期因子行列状態への感受性を調査すること。

提案手法

• 最適化のためのL0ノルムのL1近似を用いたスパースノイズモデルを導入し、L1ノルムのロバストNMFを定式化する。
• Frobeniusノルムとミックスドノルムの組み合わせを最小化することで、L2,1ノルムNMFを導入し、ロバスト性を向上させる。
• 非負制約を満たす乗法的更新ルールを用い、U、V、Ep、Enを反復的に最適化する。
• 強度値を標準化し、ノイズを低減するために、画像正規化を前処理として適用する。
• 最適化中に非負性を維持するために、ノイズEを正と負の成分（Ep、En）に分解する。
• Saltアンドペッパー、ラプラス、ガウス分布のノイズをスケール変動とともにシミュレートし、ORLおよびYaleBデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 ノイズレベルの増加に伴い、L2、L1、L2,1ノルムNMFアルゴリズムの再構成精度はどのように比較されるか？
• RQ2 ノイズタイプ（ガウス、ラプラス、Saltアンドペッパー）が、3つのNMFバリアントにおけるACCおよびNMI指標に与える影響は何か？
• RQ3 計算コストおよび収束速度は、L1ノルムロバストNMFの実用的導入にどのように影響するか？
• RQ4 初期因子行列状態が、ロバストNMFアルゴリズムの性能に及ぼす影響はどの程度か？

主な発見

• ガウスノイズ（σ=0.01）下でORLデータセットにおいて、L2,1ノルムNMFはRRE=0.119、NMI=0.858を達成し、L1ノルムおよびL2ノルムを上回った。
• 高レベルのガウスノイズ（σ=0.5）下でも、L2,1ノルムNMFはRRE=0.379、ACC=0.252を維持し、最も優れた性能を示した。L2ノルムは最悪の性能を示した。
• p=0.25のSaltアンドペッパーノイズ下で、ORLデータセットにおいてL2,1ノルムNMFはRRE=0.273、ACC=0.428を達成し、L1ノルム（RRE=0.275、ACC=0.43）およびL2ノルム（RRE=0.286、ACC=0.413）を上回った。
• L1ノルムNMFは著しく高い計算コストと遅い収束性を示し、高反復回数は実用的でないことが判明した。
• L2,1ノルムNMFは、すべてのノイズタイプおよびスケールで安定した性能を示し、特にガウスノイズおよびラプラスノイズ下で顕著に優れた性能を発揮した。
• 低解像度のORLデータセットでは、成分数kとACC/NMIの間に明確な相関は認められず、データセットの解像度が指標の一貫性に影響を与える可能性があると判明した。