[論文レビュー] Tensor Q-Rank: A New Data Dependent Tensor Rank.

Hao Kong, Zhouchen Lin|arXiv (Cornell University)|Oct 26, 2019

Tensor decomposition and applications参考文献 25被引用数 5

ひとこと要約

本稿では、列正規直交行列 𝒬 を用いて定義されるデータ依存のテンソルランクであるテンソル Q-ランクを提案する。このランクは、複雑なデータ構造に適応する。𝒬 をデータから学習可能なものとし、解釈可能な選択手法を用いることで、従来のチューブラルランク法よりも低いランク表現を達成し、高サンプリングレートおよび複雑なデータパターン下での低ランクテンソル補完において顕著な改善を実現する。

ABSTRACT

Recently, the extit{Tensor Nuclear Norm~(TNN)} regularization based on t-SVD has been widely used in various low tubal-rank tensor recovery tasks. However, these models usually require smooth change of data along the third dimension to ensure their low rank structures. In this paper, we propose a new definition of tensor rank named extit{tensor Q-rank} by a column orthonormal matrix $\mathbf{Q}$, and further make $\mathbf{Q}$ data-dependent. We introduce an explainable selection method of $\mathbf{Q}$, under which the data tensor may have a more significant low tensor Q-rank structure than that of low tubal-rank structure. We also provide a corresponding envelope of our rank function and apply it to the low rank tensor completion problem. Then we give an effective algorithm and briefly analyze why our method works better than TNN based methods in the case of complex data with low sampling rate. Finally, experimental results on real-world datasets demonstrate the superiority of our proposed model in the tensor completion problem.

研究の動機と目的

• 第三の次元に沿った滑らかでない変動を示す複雑なデータを扱う際、テンソル核ノルム（TNN）の限界を解消すること。
• 現実のテンソルデータにおける低ランク構造をよりよく捉える、データ依存の新しいテンソルランク定義を開発すること。
• 低ランク表現を向上させるために、正規直交行列 𝒬 の選択を解釈可能かつ説明可能な方法で行う手法を設計すること。
• テンソル補完における実用的最適化を可能にする、提案ランク関数の凸包を提供すること。
• 低サンプリングレート下でも、TNNに基づく手法よりも優れた性能を示す低ランクテンソル補完の実現

提案手法

• 列正規直交行列 𝒬 を用いる新しいテンソルランク、すなわちテンソル Q-ランクを提案する。ランクは Q 変換されたテンソルの非ゼロ特異値の数によって定義される。
• 入力テンソルから 𝒬 を学習可能なものとすることで、内在する低ランク構造をよりよく捉える。
• データの特徴に基づく解釈可能な 𝒬 選択戦略を導入し、解釈可能性と低ランク表現の向上を両立する。
• 低ランクテンソル補完における効率的な最適化を可能にするために、テンソル Q-ランク関数の凸包を導出する。
• 凸包に基づく有効なアルゴリズムを設計し、収束保証付きでテンソル補完問題を解く。
• 最適化問題を効率的に解くために、近接交替方向乗数法（ADMM）フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 データ依存のテンソルランクは、第三の次元に沿った非滑らかで複雑な変動を示すデータにおいて、標準的なチューブラルランク構造を上回る低ランクパターンの捉え方を可能にするか？
• RQ2 正規直交行列 𝒬 は、データの内在的構造に適応しつつ、解釈可能であるようにどのように選択できるか？
• RQ3 提案されたテンソル Q-ランクは、低サンプリングレート下でも TNN に基づく手法よりも優れた低ランクテンソル補完性能を示すか？
• RQ4 テンソル Q-ランク関数の凸包には理論的根拠があり、それが効果的な最適化を可能にするか？
• RQ5 どのような状況下で、固定または事前定義された変換と比較して、データ依存の 𝒬 が顕著な利点を示すか？

主な発見

• 非滑らかな変動を示す複雑なデータに対して、提案されたテンソル Q-ランクはチューブラルランクよりも顕著に低いランク表現を達成する。
• データ依存の 𝒬 選択手法は、TNN が非一様または急激なデータ変化のため失敗するような状況でも、低ランク構造の検出を向上させる。
• テンソル Q-ランクの凸包は、効果的で安定した最適化を可能にし、テンソル補完タスクにおける収束速度を向上させる。
• 実世界のデータセットを用いた実験結果から、本手法は回復精度の面で TNN に基づくモデルを上回ることが示された。特に低サンプリングレート下で顕著な優位性を示した。
• 従来の低ランクテンソル回復手法と比較して、本手法は複雑で非滑らかな構造を示す実世界のテンソルデータを処理する上で、頑健性と優位性を示した。