[論文レビュー] Fast and Accurate Tensor Completion with Total Variation Regularized Tensor Trains

Ching-Yun Ko, Kim Batselier+2 more|arXiv (Cornell University)|Apr 17, 2018

Tensor decomposition and applications参考文献 41被引用数 7

ひとこと要約

本稿では、全変動（TV）正則化を用いたテンソルトレインを用いた高速かつ高精度なテンソル補完手法を提案する。補完を既知のテンソルエントリに対する回帰問題として定式化する。類似した精度で最先端手法と比較して最大155倍の高速化を達成し、特にスパースデータ（例：1%のエントリが既知）において優れた性能を発揮する。これは、効率的なTV正則化付きテンソルトレイン最適化と、新しい補間ベースの初期化法のおかげである。

ABSTRACT

We propose a new tensor completion method based on tensor trains. The to-be-completed tensor is modeled as a low-rank tensor train, where we use the known tensor entries and their coordinates to update the tensor train. A novel tensor train initialization procedure is proposed specifically for image and video completion, which is demonstrated to ensure fast convergence of the completion algorithm. The tensor train framework is also shown to easily accommodate Total Variation and Tikhonov regularization due to their low-rank tensor train representations. Image and video inpainting experiments verify the superiority of the proposed scheme in terms of both speed and scalability, where a speedup of up to 155X is observed compared to state-of-the-art tensor completion methods at a similar accuracy. Moreover, we demonstrate the proposed scheme is especially advantageous over existing algorithms when only tiny portions (say, 1%) of the to-be-completed images/videos are known.

研究の動機と目的

• 画像や動画などの高次元データに対する従来の行列およびテンソル補完手法のスケーラビリティと計算非効率性を解決すること。
• CPおよびTucker分解の制限、特に高い記憶コストとNP困難なランク決定問題を克服すること。
• 低ランク構造を持つ不完全なテンソルの効率的かつスケーラブルで高精度な補完を可能にするテンソルトレインベースのフレームワークを開発すること。
• 全変動（TV）およびTikhonov正則化を、最小限の計算コストでテンソルトレインフレームワークに統合すること。
• 特にエントリの一部しか観測されない状況においても、画像および動画のインpainting（穴埋め）で優れた性能を示すこと。

提案手法

• 既知エントリの多重インデックス（座標）を入力とし、その値を出力とする回帰問題としてテンソル補完を定式化する。
• 未知のテンソルを低ランクテンソルトレイン（TT）としてモデル化し、TTコアに対する交互最小二乗法により補完を実行する。
• 画像および動画データに特化した補間ベースの新しいテンソルトレイン初期化法を導入し、収束を加速する。
• 全変動およびTikhonov正則化の低ランク構造を活用し、計算コストをほとんど増加させずにTTフレームワークに直接統合する。
• 数値的安定性と効率性を確保するため、固定されたTTランクでTT-SVDを用いてテンソルトレインを初期化する。
• 回帰定式化から導かれる一連の線形方程式を解くことでTTコアを最適化し、構造化された正則化によりTVおよびTikhonov項を統合する。

実験結果

リサーチクエスチョン

• RQ1 テンソルトレイン分解は、従来の行列またはCPベースの手法と比較して、より高速かつスケーラブルなテンソル補完を可能にするか？
• RQ2 全変動正則化をテンソルトレインフレームワークに統合することで、画像および動画補完の品質はどのように向上するか？
• RQ3 特化した初期化手順は、視覚的データのテンソルトレインベース補完における収束を著しく加速するか？
• RQ4 テンソルエントリの非常に小さな割合（例：1%）しか観測されない状況で、本手法はどのように性能を発揮するか？
• RQ5 本フレームワークにおけるTTランクを変化させた場合、最先端手法と比較して、精度と実行時間のトレードオフはどのように変化するか？

主な発見

• 提案手法TTC-TVは、最先端のテンソル補完手法と比較して最大155倍の高速化を達成しながら、同程度の精度を維持した。
• 1%のエントリしか既知でない状況でも、PSNRと実行時間の両面で既存のアルゴリズムを著しく上回り、スパース観測に対して高いロバスト性を示した。
• 動画補完のための修正版TTCアルゴリズムは、79秒で17.45 dBのPSNRを達成した—これはTR-ALSの57倍、標準TTCの23倍の高速化であり、最高のTR-ALS結果と同等の性能を発揮した。
• TTC-TVの結果は、TT部分空間内での準最適なTT近似とほぼ同等、あるいはそれを上回っており、解がほぼ最適であることを示している。
• 提案された補間ベースの初期化法は、精度を損なわず、収束を著しく高速化し、全体の高速化に大きく寄与した。
• 従来の手法（例：LRTC-TV）がメモリ制限により失敗する高解像度画像および大規模な動画テンソルにおいても、本手法は優れたスケーラビリティを示した。