[論文レビュー] A General Model for Robust Tensor Factorization with Unknown Noise

Xi’ai Chen, Zhi Han+5 more|arXiv (Cornell University)|May 18, 2017

Tensor decomposition and applications参考文献 9被引用数 5

ひとこと要約

本稿では、未知で複雑なノイズによって損なわれた高次元視覚データから低ランク部分空間をロバストに回復するために、混合ガウス分布（MoG）ノイズモデルを組み込んだ一般化加重低ランクテンソル因子分解法（GWLRTF）を提案する。EMフレームワーク内にMoGモデリングを統合し、CPおよびタッカー両方のテンソル因子分解を適用することで、空間的構造を保持し、画像補完、マルチスペクトルおよびハイパースペクトル画像修復の分野で、従来の行列およびテンソルベースの手法を上回る性能を発揮する。

ABSTRACT

Because of the limitations of matrix factorization, such as losing spatial structure information, the concept of low-rank tensor factorization (LRTF) has been applied for the recovery of a low dimensional subspace from high dimensional visual data. The low-rank tensor recovery is generally achieved by minimizing the loss function between the observed data and the factorization representation. The loss function is designed in various forms under different noise distribution assumptions, like $L_1$ norm for Laplacian distribution and $L_2$ norm for Gaussian distribution. However, they often fail to tackle the real data which are corrupted by the noise with unknown distribution. In this paper, we propose a generalized weighted low-rank tensor factorization method (GWLRTF) integrated with the idea of noise modelling. This procedure treats the target data as high-order tensor directly and models the noise by a Mixture of Gaussians, which is called MoG GWLRTF. The parameters in the model are estimated under the EM framework and through a new developed algorithm of weighted low-rank tensor factorization. We provide two versions of the algorithm with different tensor factorization operations, i.e., CP factorization and Tucker factorization. Extensive experiments indicate the respective advantages of this two versions in different applications and also demonstrate the effectiveness of MoG GWLRTF compared with other competing methods.

研究の動機と目的

• 高次元視覚データを扱う際、従来の行列因子分解が空間的構造を損なうという制限に対処すること。
• 未知または複雑なノイズ分布下で、既存の低ランクテンソル因子分解手法の性能が劣ることを克服すること。
• 異種の汚染を伴う現実世界のデータにおけるロバスト性を向上させるために、ノイズを混合ガウス分布（MoG）としてモデル化する統一フレームワークを開発すること。
• CPおよびタッカー両方のテンソル分解に適用可能な一般化加重低ランクテンソル因子分解（GWLRTF）手法を提供すること。
• 画像補完、マルチスペクトルおよびハイパースペクトル画像修復の応用分野において、ノイズの影響を受ける高次元テンソルから低次元部分空間を効果的に回復できること。

提案手法

• データをマトリクシゼーションを行わずに高次元テンソルとして扱う一般化加重低ランクテンソル因子分解（GWLRTF）モデルを定式化し、空間的構造を保持する。
• 未知のノイズ分布を表現するために混合ガウス分布（MoG）モデルを統合し、複雑で非ガウスなノイズに対してロバスト性を向上させる。
• MoGのパラメータと低ランクテンソル要因を同時に推定するEMベースのアルゴリズムを開発し、ノイズモデリングと因子分解の精度を向上させる。
• CP分解を用いるMoG GWLRTF-CPとタッカー分解を用いるMoG GWLRTF-Tuckerの2つのバリアントを設計し、異なるデータ特性に適応する。
• 最適化プロセスにおいて重み付き核ノルム最小化を適用し、ノイズ下での低ランク近似を強化する。
• 非凸部分問題を効率的に解くために、EMフレームワーク内での交互最適化を用い、収束性とスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 統一されたテンソル因子分解フレームワークは、高次元視覚データにおける未知のノイズ分布を効果的に処理できるか？
• RQ2 MoGベースのノイズモデリングは、従来のL1またはL2損失関数と比較して、テンソル回復におけるロバスト性をどのように向上させるか？
• RQ3 CPベースとタッカー基地のGWLRTFの相対的な強みは、異なる画像修復応用においてどのように現れるか？
• RQ4 本手法は、大規模で複雑なノイズの存在下でも、構造的情報をどれほど保持し、細部を回復できるか？
• RQ5 既存の手法とは異なり、バンドを破棄せずに、重度に汚染されたバンドを有するハイパースペクトルおよびマルチスペクトル画像を修復できるか？

主な発見

• MoG GWLRTF-CPは、マルチスペクトル画像の修復において、バンド固有のスペクトル特性を保持する点でMoG GWLRTF-Tuckerを上回る。
• MoG GWLRTF-CPおよびMoG GWLRTF-Tuckerの両方とも、マルチスペクトル画像修復タスクにおいて、競合手法と比較して高いPSNR、低いRSE、および優れたFSIM値を達成する。
• MoG GWLRTF-CPは、異なるスペクトル応答を示す31バンドすべてのハイパースペクトル画像を正常に回復し、行列ベースのMoG LRMFで見られるバンド類似性問題を回避する。
• 実際のハイパースペクトル画像修復において、MoG GWLRTF-CPおよびMoG GWLRTF-Tuckerは、HaLRTC、LRTA、PARAFAC、MSI DL、CWM LRTFに比べ、重度に汚染されたバンドにおいて顕著に優れた性能を示す。
• 本手法は構造的整合性とスペクトル的一致性を維持し、多様なデータタイプにおいて視覚的品質と定量的指標の両面で優れた性能を発揮する。
• MoG GWLRTF-Tuckerは要因行列間の相互作用をよりよく制御でき、密度が高く構造的なデータに適している一方、MoG GWLRTF-CPはスパース圧縮タスクにおいて優れた性能を発揮する。