[論文レビュー] Efficient tensor completion: Low-rank tensor train

Ho N. Phien, Hoang Duong Tuan+2 more|arXiv (Cornell University)|Jan 6, 2016

Tensor decomposition and applications参考文献 27被引用数 27

ひとこと要約

本稿では、テンソルトレース（TT）ランクに基づき、低ランクテンソルの欠損エントリを回復する2つの効率的なテンソル補完アルゴリズム—SiLRTC-TT および TMac-TT—を提案する。適切にバランスの取れたマトリシゼーション方式を活用することで、TTランクはタッカー（Tucker）ランクよりもグローバルなテンソル構造をより良く捉えることができ、特に拡張されたカラー画像のような高次元テンソルにおいて優れた性能を発揮する。

ABSTRACT

This paper proposes a novel formulation of the tensor completion problem to impute missing entries of data represented by tensors. The formulation is introduced in terms of tensor train (TT) rank which can effectively capture global information of tensors thanks to its construction by a well-balanced matricization scheme. Two algorithms are proposed to solve the corresponding tensor completion problem. The first one called simple low-rank tensor completion via tensor train (SiLRTC-TT) is intimately related to minimizing the TT nuclear norm. The second one is based on a multilinear matrix factorization model to approximate the TT rank of the tensor and called tensor completion by parallel matrix factorization via tensor train (TMac-TT). These algorithms are applied to complete both synthetic and real world data tensors. Simulation results of synthetic data show that the proposed algorithms are efficient in estimating missing entries for tensors with either low Tucker rank or TT rank while Tucker-based algorithms are only comparable in the case of low Tucker rank tensors. When applied to recover color images represented by ninth-order tensors augmented from third-order ones, the proposed algorithms outperforms the Tucker-based algorithms.

研究の動機と目的

• 不均衡なマトリシゼーションと小さな成分ランクの制限により、タッカーランクがグローバルなテンソル構造を捉えるのを制限する問題を解決する。
• より優れた低ランク表現を実現するため、テンソルトレース（TT）分解を活用した効率的なテンソル補完アルゴリズムを開発する。
• 合成テンソルおよび実世界の視覚的データ（特に高次元テンソルとして表現されるカラー画像）の回復精度を向上させる。
• データサイズを変更せずに低次元テンソルを高次元テンソルに変換するためのケット拡張（KA）スキームを導入する。これにより表現能力が向上する。
• 特に欠損率が高い状況においても、TTに基づくアルゴリズムがタッカーに基づく手法を上回ることを実証する。

提案手法

• TTランクを用いたテンソル補完を、TT核ノルム最小化による凸な代理最適化として定式化する。TT核ノルムは、マトリシゼーションされた成分テンソルの重み付き核ノルムの和として定義される。
• SiLRTC-TT を提案する。これは、TT核ノルムを最小化するためのブロック座標降下法であり、特異値しきい値処理を用いる。行列の低ランク補完と類似したアプローチである。
• TMac-TT を開発する。非凸な多次元行列因子分解アプローチであり、高価な特異値分解（SVD）を回避することで、高速な計算を実現する。
• 第3次元のカラー画像を第9次元テンソルに変換するためのケット拡張（KA）スキームを適用する。これによりデータが保持されつつ、構造的表現能力が向上する。
• TMac-TTモデルを解くために交互最適化を用い、効率的なランク1更新により要因行列を逐次更新する。
• 異なるTTコア行列の寄与をバランスさせるために重み付き最適化を統合する。

実験結果

リサーチクエスチョン

• RQ1 高次元テンソル、特に高次元テンソルにおいて、テンソルトレース（TT）ランクはタッカーランクよりも効果的な低ランク表現を提供できるか？
• RQ2 TT分解におけるバランスの取れたマトリシゼーション方式は、タッカーの不均衡なモード別マトリシゼーションと比較して、どのようにグローバル情報の捉え方を改善するか？
• RQ3 SiLRTC-TT および TMac-TT といったTTベースのアルゴリズムは、合成および実世界のテンソルにおいて、欠損エントリの回復においてタッカーに基づく手法をどの程度上回るか？
• RQ4 ケット拡張（KA）によるテンソル次数の拡張は、視覚的データのテンソル補完アルゴリズムの性能を向上させるか？
• RQ5 SVDを回避することで、TMac-TT は SiLRTC-TT と同等またはより高い回復精度を達成しつつ、計算コストを削減できるか？

主な発見

• 低TTランクの合成テンソルにおいて、SiLRTC-TT および TMac-TT はタッカーに基づく手法を顕著に上回るが、低タッカーランクの状況では両者に差がほとんどない。
• カラー画像回復の観点では、ケット拡張により生成された第9次元テンソルにおいて、TMac-TT が最も優れた結果を達成し、特に高い欠損率（例：90％の欠損エントリ）の状況で顕著である。
• ケット拡張（KA）を用いた本稿のアルゴリズムは、拡張を行わない対応手法よりも優れた回復結果を示しており、高次元表現の利点を実証している。
• SVDを回避することで、TMac-TT は SiLRTC-TT よりも優れた計算効率を達成し、大規模テンソルへのスケーラビリティが向上する。
• タッカーに基づく手法は、拡張された第9次元テンソルでは性能を発揮できない。実験では成分の最大ランクが4に制限されるが、TTランク成分は最大256に達でき、グローバル構造のモデリングに優れている。
• LennaおよびHouse画像における実験結果から、KAを用いてテンソルを第9次元に拡張した場合、TTベースの手法がタッカーに基づく手法よりもよりロバストかつ正確であることが確認された。