[論文レビュー] Learning Tensor Train Representation with Automatic Rank Determination from Incomplete Noisy Data

Le Xu, Lei Cheng+2 more|arXiv (Cornell University)|Oct 13, 2020

Tensor decomposition and applications参考文献 29被引用数 5

ひとこと要約

本論文は、不完全でノイズの多いデータから、スライスごとのTTランクを自動で決定する完全ベイズ型テンソルトレース（TT）分解手法を提案する。ガウス積・ガンマ事前分布を導入することで、TTコアスライスにおけるスパarsityを誘導する。変分推論に基づく学習アルゴリズムは、真のTT構造を的確に回復でき、画像補完および分類タスクにおいて既存手法を上回る性能を示した。

ABSTRACT

Tensor train (TT) decomposition, a powerful tool for analysing multidimensional data, exhibits superior performance in many signal processing and machine learning tasks. However, existing methods for TT decomposition either require the knowledge of the true TT ranks, or extensive fine-tuning the balance between model complexity and representation accuracy. In this paper, a fully Bayesian treatment of TT decomposition is employed to enable automatic rank determination. In particular, theoretical evidence is established for adopting a Gaussian-product-Gamma prior to induce sparsity on the slices of the TT cores, so that the model complexity is automatically determined even under incomplete and noisy observed data. Based on the proposed probabilistic model, an efficient learning algorithm is derived under the variational inference framework. Simulation results on synthetic data show the success of the proposed model and algorithm on recovering the ground-truth TT structure from incomplete noisy data. Further experiments on real world data demonstrate the proposed algorithm performs better in image completion and image classification, compared to other existing TT decomposition algorithms.

研究の動機と目的

• 真のランクが未知である状況におけるテンソル分解におけるTTランク選択の課題に取り組むこと。
• 不完全でノイズの多いデータ条件下でも頑健なTT分解を可能にすること。
• 手動チューニングが不要なモデル複雑度を自動で決定する確率的モデルの構築。
• 画像補完や分類などの実世界応用における性能向上。

提案手法

• 不確実性の定量化と自動的複雑度制御を可能にする完全ベイズフレームワークをTT分解に適用する。
• TTコアスライスにガウス積・ガンマ事前分布を導入し、スパarsityを誘導し、自動ランク決定を促進する。
• TTコアの事後分布を近似するための効率的な学習アルゴリズムを、変分推論を用いて導出する。
• 不完全でノイズのある観測下において、スパarsityの誘導とモデル選択の両面で事前分布の選択に理論的裏付けを提供する。
• 一貫した確率的枠組みに基づき、不確実性を統合的にマージナライズすることで、TTコアとそのランクを同時に推定する。

実験結果

リサーチクエスチョン

• RQ1 真のランクの知識や手動チューニングなしに、ベイズ的TT分解モデルが正しいTTランクを自動で決定できるか？
• RQ2 ノイズと不完全なデータ下において、提案されたガウス積・ガンマ事前分布は、スパarsityの誘導と自動ランク選択にどの程度有効か？
• RQ3 提案手法は、真のテンソル構造の回復において、既存のTT分解アルゴリズムをどの程度上回るか？
• RQ4 画像補完や画像分類といった実用的応用において、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、不完全でノイズの多い観測下から合成データにおいて真のTT構造を的確に回復できた。
• ガウス積・ガンマ事前分布は、TTコアスライスにおけるスパarsityの誘導に理論的裏付けを提供し、自動ランク決定を可能にした。
• 画像補完タスクにおいて、提案アルゴリズムはベースラインのTT分解手法よりも高い再構成精度を達成した。
• 画像分類においても優れた性能を示し、不完全なデータからの表現学習の向上を示した。