[論文レビュー] Tensor N-tubal rank and its convex relaxation for low-rank tensor recovery

Yu‐Bang Zheng, Ting‐Zhu Huang+4 more|arXiv (Cornell University)|Dec 3, 2018

Medical Imaging and Analysis被引用数 7

ひとこと要約

本稿では、モード-$k_1k_2$テンソルアンフォールディングおよびその凸緩和である重み付きテンソルノルムノルムの和（WSTNN）に基づき、$N$-ウェイテンソルのすべてのモードにわたる低ランク構造をよりよく捉えるために、新しいテンソルランク、テンソル $N$-チューブラルランクを提案する。この手法は、既存の手法と比較して、低ランクテンソル補完およびロバストテンソル回復の性能を顕著に向上させる。

ABSTRACT

As low-rank modeling has achieved great success in tensor recovery, many research efforts devote to defining the tensor rank. Among them, the recent popular tensor tubal rank, defined based on the tensor singular value decomposition (t-SVD), obtains promising results. However, the framework of the t-SVD and the tensor tubal rank are applicable only to three-way tensors and lack of flexibility to handle different correlations along different modes. To tackle these two issues, we define a new tensor unfolding operator, named mode-$k_1k_2$ tensor unfolding, as the process of lexicographically stacking the mode-$k_1k_2$ slices of an $N$-way tensor into a three-way tensor, which is a three-way extension of the well-known mode-$k$ tensor matricization. Based on it, we define a novel tensor rank, the tensor $N$-tubal rank, as a vector whose elements contain the tubal rank of all mode-$k_1k_2$ unfolding tensors, to depict the correlations along different modes. To efficiently minimize the proposed $N$-tubal rank, we establish its convex relaxation: the weighted sum of tensor nuclear norm (WSTNN). Then, we apply WSTNN to low-rank tensor completion (LRTC) and tensor robust principal component analysis (TRPCA). The corresponding WSTNN-based LRTC and TRPCA models are proposed, and two efficient alternating direction method of multipliers (ADMM)-based algorithms are developed to solve the proposed models. Numerical experiments demonstrate that the proposed models significantly outperform the compared ones.

研究の動機と目的

• 既存のテンソルランク（例えばテンソルチューブラルランクやTuckerランク）の制限を解決する。これらは三路テンソルに限定されたり、マルチモード構造的相関を保持できない。
• $N$-ウェイテンソルにおけるすべてのモードの組み合わせにおけるモード間相関を捉えることが難しい、従来のテンソルアンフォールディング手法の不柔軟性を克服する。
• 提案された $N$-チューブラルランクの凸緩和を構築し、低ランクテンソル回復タスクにおける効率的な最適化を可能にする。
• 新フレームワークを、低ランクテンソル補完（LRTC）とテンソルロバストPCA（TRPCA）という2つのコアなテンソル回復問題に適用し、性能向上を達成する。
• 理論的収束保証を伴う、効率的なADMMベースのアルゴリズムを設計する。

提案手法

• モード-$k_1k_2$テンソルアンフォールディングと呼ばれる新しいテンソルアンフォールディング操作を導入。これは、モード-$k_1k_2$スライスを辞書的順に積み重ねることで、$N$-ウェイテンソルを三路テンソルに再構成する。
• テンソル $N$-チューブラルランクを、各要素がモード-$k_1k_2$アンフォールディングテンソルのチューブラルランクであるベクトルとして定義。これにより、すべてのモードペア間の相関を捉える。
• $N$-チューブラルランクの凸近似として、重み付きテンソルノルムノルムの和（WSTNN）を提案。凸緩和により、効率的な最適化が可能になる。
• 低ランクテンソル補完（LRTC）およびテンソルロバストPCA（TRPCA）のWSTNNに基づく最適化モデルを構築。データ適合性と低ランク正則化を組み合わせる。
• LRTCおよびTRPCAモデルを解くために、2つの効率的な増分乗数法（ADMM）ベースのアルゴリズムを開発。凸性を満たすため、収束保証が得られる。
• TRPCAにおける低ランク成分とスパース成分のバランスを向上させるために、適応的重み選択としきい値パラメータ調整（$ au$）を統合。これにより、ロバステネスが向上する。

実験結果

リサーチクエスチョン

• RQ1 三路テンソルに限定されず、$N$-ウェイテンソルのすべてのモードペアにわたる低ランク構造を捉えることができる新しいテンソルランクを定義できるか？
• RQ2 提案されたモード-$k_1k_2$アンフォールディング操作は、従来のモード-$k$行列化と比較して、内在するマルチモード相関をよりよく保持できるか？
• RQ3 WSTNNによる凸緩和は、$N$-チューブラルランクの効果的近似を可能にするとともに、テンソル回復タスクにおける効率的最適化を可能にするか？
• RQ4 WSTNNに基づくLRTCモデルは、合成データおよび実世界データにおいて、最先端手法と比較して回復精度とロバステネスの点で優れているか？
• RQ5 WSTNNに基づくTRPCAモデルは、ハイパースペクトルおよび動画データにおけるスパースコラプションとノイズの処理において、既存のロバストテンソル分解手法をどれほど上回るか？

主な発見

• 合成および実世界のテンソル補完タスクにおいて、WSTNNに基づくLRTCモデルは、競合手法と比較して顕著に高いPSNRおよび低い相対変化（RelCha）値を達成する。
• HSIノイズ除去において、WSTNNに基づくTRPCA手法は、すべての指標（PSNR、SSIM、FSIM）でTNNベースの手法[46]を上回り、さまざまなノイズレベルの合成データにおいて90％以上の成功率を達成する。
• ワシントンDCモールHSIデータセットにおいて、ノイズレベル0.4の条件下で、本手法はPSNR 38.21 dB、SSIM 0.987を達成し、比較手法をすべて上回る。
• パラメータ感度分析の結果、$ au$ の中程度の値（例：100）が最適な結果をもたらすことが判明。極端な値は過剰または不十分な正則化により失敗を引き起こす。
• ADMMベースのアルゴリズムの収束は、実験的に検証され、目的関数値が50〜100イテレーション後に安定化することが確認され、理論的収束保証が裏付けられる。
• 合成および実世界データの両方において、ノイズ除去および補完タスクで優れた視覚的品質を示し、細部やテクスチャをベースライン手法よりもよく保持する。