[論文レビュー] A New Low-Rank Tensor Model for Video Completion

Wenrui Hu, Dacheng Tao+3 more|arXiv (Cornell University)|Sep 7, 2015

Tensor decomposition and applications参考文献 9被引用数 16

ひとこと要約

本稿では、巡回代数とテンソル特異値分解（tensor-SVD）を活用して欠損フレームを伴うパン・ビデオの効率的再構成を実現する、新規の低ランクテンソルモデル、ねじれテンソル核ノルム（t-TNN）を提案する。ブロック巡回行列化を用いてフレーム間の水平方向の平行移動関係を活用することで、t-TNNは特に非定常カメラ運動を伴う動画に対して優れた再構成精度を達成し、最先端のモデルであるGTNNを上回り、RSE低減において最大3.7 dBの効果を示す。

ABSTRACT

In this paper, we propose a new low-rank tensor model based on the circulant algebra, namely, twist tensor nuclear norm or t-TNN for short. The twist tensor denotes a 3-way tensor representation to laterally store 2D data slices in order. On one hand, t-TNN convexly relaxes the tensor multi-rank of the twist tensor in the Fourier domain, which allows an efficient computation using FFT. On the other, t-TNN is equal to the nuclear norm of block circulant matricization of the twist tensor in the original domain, which extends the traditional matrix nuclear norm in a block circulant way. We test the t-TNN model on a video completion application that aims to fill missing values and the experiment results validate its effectiveness, especially when dealing with video recorded by a non-stationary panning camera. The block circulant matricization of the twist tensor can be transformed into a circulant block representation with nuclear norm invariance. This representation, after transformation, exploits the horizontal translation relationship between the frames in a video, and endows the t-TNN model with a more powerful ability to reconstruct panning videos than the existing state-of-the-art low-rank models.

研究の動機と目的

• 従来の低ランクモデルが時間的平行移動パターンを捉えきれないため、パン・ビデオにおける動画補完の課題に対処すること。
• フレーム間の空間的平行移動関係を活用しない既存のテンソル核ノルム（例：GTNN）の限界を克服すること。
• 構造的再冗長性を保持する計算効率が良く解釈可能な低ランクテンソルモデルを構築すること。
• ランダムな遮断と構造的欠損データの両方の状況下でも、頑健な動画補完を可能にすること。
• ブロック巡回表現を介してテンソル核ノルムと行列核ノルムを接続し、モデル化能力を強化すること。

提案手法

• 2次元動画フレームを順序正しく横方向に格納する3-wayテンソル表現、すなわちねじれテンソルを提案する。
• ねじれテンソルのブロック巡回行列化における核ノルムとして、ねじれテンソル核ノルム（t-TNN）を定義する。
• t-TNNがフーリエドメインにおけるテンソルマルチランク緩和と等価であることを確立し、FFTを用いた効率的計算を可能にする。
• ブロック巡回行列化を核ノルム不変性を保ちつつ巡回ブロック表現に変換し、フレーム間の水平平行移動を捉える。
• t-TNNをテンソルマルチランクの凸な代理関数として用いて、低ランクテンソル推定問題として動画補完を定式化する。
• 効率的な特異値しきい値処理を備えた、交替方向乗数法（ADMM）フレームワークを用いて最適化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 フレーム間の水平平行移動を明示的に捉える低ランクテンソルモデルが、パン・ビデオの動画補完性能を向上させることができるか？
• RQ2 t-TNNは、GTNN、SNN、LNNといった最先端のモデルと比較して、欠損データを伴う動画の再構成においてどのように性能を発揮するか？
• RQ3 ねじれテンソルの巡回ブロック表現は、核ノルム不変性を保ちつつ、時間的再冗長性のモデル化を強化するか？
• RQ4 既存の手法と比較して、t-TNNは非定常カメラ運動を伴う動画において、再構成誤差（RSE）をどの程度低減できるか？
• RQ5 t-TNNは、パン・ビデオ系列におけるアーチファクト（例：「終端テール」やゴースト効果）を効果的に抑制できるか？

主な発見

• t-TNNはパン・ビデオにおいてGTNNと比較して0.8 dBから3.7 dBのRSE低減を達成し、優れた再構成精度を示した。
• パン運動を伴うWindmill動画では、t-TNNはGTNNの結果に見られる「終端テール」やゴーストアーチファクトを完全に除去した。これは、平行移動モデリングが不十分であったための結果である。
• ランダムな遮断実験において、t-TNNはすべてのテスト動画でGTNN、SNN、LNN、TMac、MNNを上回り、特にテクスチャーや細部の回復において優れた性能を示した。
• 平均して、t-TNNは全手法中最も高い逆RSE（iRSE）と最小の実行時間を達成し、大規模画像（例：p=0.1のBuilding動画）においてGTNNと比較して10倍の高速化（419秒 vs. 66秒）を達成した。
• ねじれテンソルの巡回ブロック表現は、核ノルムを保持しつつFFTベースの計算を効率的に行うことができ、計算効率とモデルの忠実性の両方を確保した。
• t-TNNは非定常パン運動を伴う動画において特に効果的であり、フレーム間のずれパターンを無視するモデルと比較して、時間的平行移動再冗長性をより効果的に活用できた。