[論文レビュー] Distributionally Robust and Multi-Objective Nonnegative Matrix Factorization

Nicolas Gillis, Le Thi Khanh Hien+2 more|arXiv (Cornell University)|Jan 30, 2019

Optimal Experimental Design Methods被引用数 4

ひとこと要約

本稿では、ラグランジュ双対性とフランク＝ウォルフに類似したヒューリスティックを用いて導出される適応的重みを用いた重み付き和アプローチにより、複数のβ-損失目的関数（例：フロベニウス、KL、IS）を同時に最適化する、分布的ロバストで多目的な非負値行列分解（DR-MO-NMF）フレームワークを提案する。この手法は、未知または混合ノイズモデル下でもロバストなNMF解を達成し、さまざまなノイズ条件下で単目的NMFを著しく上回る性能を示す。

ABSTRACT

Nonnegative matrix factorization (NMF) is a linear dimensionality reduction technique for analyzing nonnegative data. A key aspect of NMF is the choice of the objective function that depends on the noise model (or statistics of the noise) assumed on the data. In many applications, the noise model is unknown and difficult to estimate. In this paper, we define a multi-objective NMF (MO-NMF) problem, where several objectives are combined within the same NMF model. We propose to use Lagrange duality to judiciously optimize for a set of weights to be used within the framework of the weighted-sum approach, that is, we minimize a single objective function which is a weighted sum of the all objective functions. We design a simple algorithm based on multiplicative updates to minimize this weighted sum. We show how this can be used to find distributionally robust NMF (DR-NMF) solutions, that is, solutions that minimize the largest error among all objectives, using a dual approach solved via a heuristic inspired from the Frank-Wolfe algorithm. We illustrate the effectiveness of this approach on synthetic, document and audio data sets. The results show that DR-NMF is robust to our incognizance of the noise model of the NMF problem.

研究の動機と目的

• 非負値行列分解（NMF）において、真のノイズモデルが未知または不確実な状況下で適切な目的関数を選択する課題に対処すること。
• 誤ったノイズモデルを仮定した場合に著しく失敗する単目的NMFの限界を克服すること。
• 複数の候補ノイズモデル（例：ガウス、ポアソン、ガンマ）の間で最大の再構成誤差を最小化する分布的ロバストNMF（DR-NMF）の定式化を構築すること。
• 適応的重みと乗法的更新を用いて、複数のβ-損失目的関数をバランスよく最適化する効率的な最適化アルゴリズムを設計すること。
• 合成データおよび文書・音声データ上で、現実的なノイズ条件下での提案手法の有効性を実証すること。

提案手法

• 複数のβ-損失目的関数（例：D₀、D₁、D₂）を重み付き和の目的関数に統合することで、多目的NMF（MO-NMF）問題を定式化する。
• ラグランジュ双対性を用いて、重み付き和目的関数の最適重みを導出することで、すべての目的関数にバランスの取れた最小化を実現する。
• 非負性と収束性を保ちながら重み付き和目的関数を最小化する、新規の乗法的更新アルゴリズムを設計する。
• 分布的ロバストNMF（DR-NMF）の部分問題を解くために、フランク＝ウォルフに類似したヒューリスティックを適用し、すべての目的関数における最大誤差を最小化する。
• DR-NMFフレームワークをMO-NMF最適化ループに統合し、反復的に重みを精緻化することでロバスト性を向上させる。
• 得られたアルゴリズムにより、真のノイズタイプを事前に知らない状況下でも、複数のノイズモデル（例：ポアソン、ガンマ、ガウス）の再構成誤差を同時に最小化する。

実験結果

リサーチクエスチョン

• RQ1 真のノイズモデルが未知である状況下で、複数のβ-損失目的関数を同時に最適化する多目的NMFフレームワークが、ロバスト性を向上させることができるか？
• RQ2 重み付き和NMF定式化において、異なるβ-損失項に最適な重みをどのように割り当てることができるか？ これにより、多様なノイズモデルにおいてバランスの取れた性能が保証されるか？
• RQ3 提案された分布的ロバストNMF（DR-NMF）アプローチは、混合または未知のノイズ条件下で、標準的な単目的NMFの変種（例：KL-NMF、IS-NMF）をどの程度上回るか？
• RQ4 フランク＝ウォルフに類似したアルゴリズムは、DR-NMF問題を効果的に解き、複数の目的関数において低い最悪ケース誤差を達成できるか？
• RQ5 提案手法は、従来のNMFアプローチと比較して、より解釈可能で物理的に意味のある因子分解（例：音声源分離）を生成するか？

主な発見

• DR-NMF（Ω = {0,1}、すなわちISとKLの損失）は、高ノイズの音声スペクトログラムにおいて、3つの音符（C₄、D₄、E₄）とハンマー音を正常に抽出するが、IS-NMFは音符を回復できず、KL-NMFは第5のソースを抑制できない。
• ポアソンノイズ下では、DR-NMFは楽譜の活性化パターン（C₄：1回、D₄：2回、E₄：4回）を正しく特定し、IS-NMFおよびKL-NMFを上回る性能を示す。
• 乗法的ガンマノイズ（r=5）下では、DR-NMFは3つの音符とハンマー音を正確に抽出するが、IS-NMFは振幅を過大評価し、KL-NMFは無意味な余分なソースを導入する。
• DR-NMFの第5成分はほぼゼロに近く、自動的な成分選択を示している。一方、IS-NMFはこれに成功しており、KL-NMFはそうではない。
• DR-NMFは、ISおよびKL損失誤差の両方を著しく低減しており、どの目的関数に対しても妥協をきたさずに複数の目的関数をバランスよく最適化できる能力を示している。
• ノイズ統計が不明な状況下で、音声データにIS-NMFとKL-NMFのどちらを用いるかという長年の議論を、未知のノイズ統計下でもロバストに機能する統一的代替手法として解決する。