[論文レビュー] DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors

Vishwanath Saragadam, Randall Balestriero+2 more|arXiv (Cornell University)|Apr 7, 2022

Tensor decomposition and applications被引用数 7

ひとこと要約

DeepTensorは、自己教師あり深層学習フレームワークを提案し、低ランクテンソルおよび行列分解において、深層生成ネットワーク（DN）の暗黙的な正則化を活用することで、SVD や PCA といった古典的手法を凌駕する。非ガウス分布ノイズや低信号対ノイズ比（SNR）下でも頑健な性能を発揮し、ポissonノイズ除去では最大6 dBのSNR向上を達成するとともに、3Dテンソル分解においては3D畝込みネットワーク比60倍の高速化を実現した。

ABSTRACT

DeepTensor is a computationally efficient framework for low-rank decomposition of matrices and tensors using deep generative networks. We decompose a tensor as the product of low-rank tensor factors (e.g., a matrix as the outer product of two vectors), where each low-rank tensor is generated by a deep network (DN) that is trained in a self-supervised manner to minimize the mean-squared approximation error. Our key observation is that the implicit regularization inherent in DNs enables them to capture nonlinear signal structures (e.g., manifolds) that are out of the reach of classical linear methods like the singular value decomposition (SVD) and principal component analysis (PCA). Furthermore, in contrast to the SVD and PCA, whose performance deteriorates when the tensor's entries deviate from additive white Gaussian noise, we demonstrate that the performance of DeepTensor is robust to a wide range of distributions. We validate that DeepTensor is a robust and computationally efficient drop-in replacement for the SVD, PCA, nonnegative matrix factorization (NMF), and similar decompositions by exploring a range of real-world applications, including hyperspectral image denoising, 3D MRI tomography, and image classification. In particular, DeepTensor offers a 6dB signal-to-noise ratio improvement over standard denoising methods for signals corrupted by Poisson noise and learns to decompose 3D tensors 60 times faster than a single DN equipped with 3D convolutions.

研究の動機と目的

• 古典的手法（SVD や PCA）が失敗する非ガウス分布ノイズや信号分布に強い低ランク分解フレームワークの開発。
• 深層生成ネットワーク（DN）の暗黙的なインダクティブバイアスを、行列およびテンソル因子分解の強力なデータ駆動型正則化項として活用すること。
• SVD や PCA、NMF といった標準的手法の即時置換として、計算効率の高い代替手法の開発。
• より正確な低次元信号表現を学習することで、画像分類やノイズ除去といった下流タスクの性能向上。
• 特に3Dテンソル分解において、エンドツーエンドの3D畝込みネットワークと比較してスケーラビリティと速度の優位性を示すこと。

提案手法

• 低ランクテンソル因子を、入力テンソルと再構成テンソルの平均二乗誤差（MSE）を最小化する自己教師あり学習で訓練された深層生成ネットワーク（DN）の出力として表現する。
• 1D もしくは 2D 畝込みフィルタを用いた分離可能アーキテクチャを採用し、3Dテンソル分解を効率化。完全な3D畝込みの計算コストを回避する。
• 再構成が生成された低ランク因子の積であることを前提に、バックプロパゲーションを用いてMSE損失関数でDNを訓練する。
• DNのアーキテクチャに起因する暗黙の正則化を活用し、線形手法がモデル化できない非線形信号構造（例：多様体）を捉える。
• ReLU やソフトプラス活性化関数を用いて非負制約を統合し、NMF応用向けに半NMFおよび完全NMFのバリエーションを可能にする。
• 2段階の訓練プロセスを採用：まず自己教師あり再構成目的でDNを事前学習し、その後特定の分解タスク向けにファインチューニングする。

(a) Low-rank representation via SVD

実験結果

リサーチクエスチョン

• RQ1 深層生成ネットワークは、非ガウス分布ノイズ下でも低ランクテンソル分解の有効な事前知識として機能するか？
• RQ2 信号対ノイズ比（SNR）が低いか、ノイズが非ガウス的（例：ポissonノイズ）な状況下で、DeepTensorの性能はSVD や PCA より優れているか？
• RQ3 DeepTensorはランク過大推定に対してどれほど頑健か？また、ランク選択への感受性においてSVDと比較してどうか？
• RQ4 3Dテンソル分解において、3D畝込みネットワークと比較して顕著な高速化を達成できるか？
• RQ5 DNを事前知識として用いることで、画像分類やノイズ除去といった下流タスクの性能が、古典的手法より向上するか？

主な発見

• ポissonノイズで汚染されたハイパースペクトル画像に適用した結果、DeepTensorは標準的なノイズ除去手法と比較して6 dBの信号対ノイズ比（SNR）向上を達成した。
• 非ガウス分布ノイズ下の低SNR環境では、SVD や PCA は著しく性能を低下させるが、DeepTensorはその影響を軽減し、優れた性能を発揮した。
• SVDとは異なり、DeepTensorはランク過大推定に対して著しく感受性が低く、ランクが高くなるに従って性能が著しく低下しない。広いランク範囲で安定した性能を維持した。
• 3Dテンソル分解において、DeepTensorは1つの3D畝込みネットワークと比較して60倍高速であった。これは、1Dおよび2D畝込みを用いた分離可能アーキテクチャのおかげである。
• 音声スペクトログラムにおける非負行列因子分解（NMF）において、ReLU活性化関数を用いたDeepTensorは平均8.8 dBのPSNRを達成し、ベースラインNMF手法（4.6–4.7 dB）を上回った。
• エイジング画像分類タスクにおけるエイジングエフェクトの除去に用いられたEigenfacesでは、DeepTensorはPCA や ICA よりもノイズの少ない主成分を学習し、線形SVM分類器の分類精度が向上した。

(b) Low-rank representation via DeepTensor