[論文レビュー] Scaled Nuclear Norm Minimization for Low-Rank Tensor Completion

Morteza Ashraphijuo, Xiaodong Wang|arXiv (Cornell University)|Jul 25, 2017

Tensor decomposition and applications参考文献 26被引用数 4

ひとこと要約

本稿では、低TTランクテンソル補完のための、テンソル展開の核ノルムの重み付き和を提案する。これにより、標準的な核ノルム最小化と比較して、必要なサンプル数を顕著に削減できる。本手法は、TT分解の展開における構造的差を活用することで、重みなしのノルムの和および行列化に基づく手法を凌駕する。

ABSTRACT

Minimizing the nuclear norm of a matrix has been shown to be very efficient in reconstructing a low-rank sampled matrix. Furthermore, minimizing the sum of nuclear norms of matricizations of a tensor has been shown to be very efficient in recovering a low-Tucker-rank sampled tensor. In this paper, we propose to recover a low-TT-rank sampled tensor by minimizing a weighted sum of nuclear norms of unfoldings of the tensor. We provide numerical results to show that our proposed method requires significantly less number of samples to recover to the original tensor in comparison with simply minimizing the sum of nuclear norms since the structure of the unfoldings in the TT tensor model is fundamentally different from that of matricizations in the Tucker tensor model.

研究の動機と目的

• 低TTランクを持つテンソルの低ランク補完の課題に取り組む。これは、既存の凸緩和手法では効率的に処理できない。
• TTモデルにおける展開の核ノルムの重みなし和を最小化する手法の限界を克服する。この手法は構造的利点を十分に活用できない。
• TT分解構造に適合した重み付き最適化定式化を導入することで、テンソル回復におけるサンプル効率を向上させる。
• 提案手法が、必要なサンプリング確率の観点から、重みなしノルムの和および行列化に基づく手法を上回ることを示す。
• 理論的根拠に基づいた凸最適化フレームワークを提供し、低TTランクテンソル補完においてより優れた実験的性能を達成する。

提案手法

• 低TTランクテンソル補完のための最適化目的関数として、テンソル展開の核ノルムの重み付き和を提案する。
• テンソルのi番目の展開を、双方向写像を用いて再順序付けられたテンソル要素からなる行列として定義し、TT構造を保持する。
• テンソルを鎖状に接続された3-wayテンソルの系列として表すことで、テンソル・トレイン（TT）分解を用い、低ランク表現を可能にする。
• これらの展開の核ノルムの重み付き和を最小化する最適化問題として定式化し、重みはTT分解の構造的特性を反映するように選ぶ。
• 最適化が凸であり、標準的な半正定値プログラミングまたは一次元法によって解けることを保証する。
• 提案手法を2つのベースラインと比較する：展開の核ノルムの重みなし和、および行列化の核ノルムの和。

実験結果

リサーチクエスチョン

• RQ1 展開の核ノルムの重み付き和は、重みなし最小化と比較して、低TTランクテンソル補完におけるサンプル効率を向上させることができるか？
• RQ2 TTランクテンソルに対するTuckerモデルにおける行列化の核ノルムの和と比較して、本手法の性能はいかがなものか？
• RQ3 重み付き定式化を用いる場合と重みなしノルムの和と比較して、必要なサンプリング確率はどの程度削減されるか？
• RQ4 TT展開とTucker行列化の間の構造的差が、テンソル回復における性能差を生じるか？
• RQ5 本手法は、TTランクテンソルの既存の凸緩和手法と比較して、より低いサンプリングレートでも低い再構成誤差を達成できるか？

主な発見

• TTランク (1,4,2,2) の5-wayテンソルにおいて、提案手法は再構成誤差1％をp=0.32で達成する。一方、重みなしノルムの和手法ではp=0.42を要し、必要なサンプル数が23.8％削減された。
• TTランク (3,9,10,2) の5-wayテンソルにおいて、提案手法は再構成誤差1％をp=0.18で達成する。一方、重みなし手法ではp=0.25を要し、サンプリング要件が28％削減された。
• TTランク (1,5,15,10,3) の6-wayテンソルにおいて、提案手法は再構成誤差1％をp=0.12で達成する。一方、重みなし手法ではp=0.18を要し、サンプリングニーズが33.3％削減された。
• 重みなし核ノルムの展開の和は、特に低サンプリングレートにおいて、提案手法と比べて著しく劣る性能を示す。
• 行列化の核ノルムの和は、すべての実験で非常に劣った性能を示しており、Tuckerベースの手法がTTランクテンソルには不適切であることが示された。
• 提案された重み付き核ノルム最小化は、低いサンプリング確率において、再構成精度の観点から両方のベースラインを常に上回り、優れたサンプル効率を示した。