[論文レビュー] Towards Probabilistic Tensor Canonical Polyadic Decomposition 2.0: Automatic Tensor Rank Learning Using Generalized Hyperbolic Prior.

Lei Cheng, Zhongtao Chen+3 more|arXiv (Cornell University)|Sep 5, 2020

Tensor decomposition and applications参考文献 44被引用数 6

ひとこと要約

本稿では、確率的カーネルパーサー分解（CPD）における自動テンソルランク学習のための一般化双曲線（GH）事前分布を提案する。この手法により、低SNR下でも低ランクおよび高ランクテンソルに対して、ロバストなランク推定が可能になる。ガウス・ガンマ分布の柔軟性を高めたスパースネスへの適応性に優れた拡張として、閉形式の更新式を用いた変分ベイズ推論を採用することで、合成データおよび実世界データの実験において、既存手法を上回る性能を発揮する。

ABSTRACT

Tensor rank learning for canonical polyadic decomposition (CPD) has long been deemed as an essential but challenging problem. In particular, since the tensor rank controls the complexity of the CPD model, its inaccurate learning would cause overfitting to noise or underfitting to the signal sources, and even destroy the interpretability of model parameters. However, the optimal determination of a tensor rank is known to be a non-deterministic polynomial-time hard (NP-hard) task. Rather than exhaustively searching for the best tensor rank via trial-and-error experiments, Bayesian inference under the Gaussian-gamma prior was introduced in the context of probabilistic CPD modeling and it was shown to be an effective strategy for automatic tensor rank determination. This triggered flourishing research on other structured tensor CPDs with automatic tensor rank learning. As the other side of the coin, these research works also reveal that the Gaussian-gamma model does not perform well for high-rank tensors or/and low signal-to-noise ratios (SNRs). To overcome these drawbacks, in this paper, we introduce a more advanced generalized hyperbolic (GH) prior to the probabilistic CPD model, which not only includes the Gaussian-gamma model as a special case, but also provides more flexibilities to adapt to different levels of sparsity. Based on this novel probabilistic model, an algorithm is developed under the framework of variational inference, where each update is obtained in a closed-form. Extensive numerical results, using synthetic data and real-world datasets, demonstrate the excellent performance of the proposed method in learning both low as well as high tensor ranks even for low SNR cases.

研究の動機と目的

• カーネルパーサー分解（CPD）における自動テンソルランク決定の課題に取り組むこと。これはNP困難であり、モデルの解釈可能性および一般化性能にとって重要である。
• ガウス・ガンマ事前分布が高ランクテンソルおよび低信号対雑音比（SNR）条件下で性能を発揮できないという限界を克服すること。
• テンソル成分のスパースネスの変動に適応可能な、より柔軟な確率的CPDモデルを構築すること。
• 計算効率とスケーラビリティを確保するため、閉形式の変分推論更新式を実現すること。
• 低SNRおよび高ランクの多様なデータ環境において、優れた性能を示すことを実証すること。

提案手法

• CPD要因行列上の階層的事前分布として、一般化双曲線（GH）事前分布を導入し、ガウス・ガンマ事前分布を特殊ケースとして包含する。
• GH事前分布を用いて、階層ベイズフレームワーク内で、異なるテンソルランクに応じた適応的スパースネス制御を実現する。
• GH事前分布の共役性の性質を活用し、変分推論のための閉形式更新式を導出する。
• 変分ベイズ推論フレームワークを採用し、テンソルランクとCPDパラメータを完全に自動的に同時に推定する。
• GH分布の重たい尾部の性質を活かし、高ランクまたは低SNRのデータにおけるスパースで複雑な構造をよりよく捉える。
• 後退パラメータの反復的更新を通じて、変分下界（ELBO）を最適化し、収束性とスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ガンマモデルより柔軟な事前分布が、確率的CPDにおける自動テンソルランク学習を改善できるか？
• RQ2 一般化双曲線事前分布は、既存手法と比較して高ランクテンソルの推定にどの程度優れているか？
• RQ3 提案手法は低信号対雑音比（SNR）条件下でもロバスト性を維持できるか？
• RQ4 GH事前分布は、元のテンソル成分のスパースネスレベルの変動にどの程度適応できるか？
• RQ5 GH事前分布を用いて、計算効率を確保するための閉形式の変分推論が達成可能か？

主な発見

• 提案された一般化双曲線（GH）事前分布は、ガウス・ガンマ事前分布に比べて、特に高ランクおよび低SNRの状況下で、テンソルランク学習性能を顕著に向上させる。
• 本手法は、合成データおよび実世界データの両方で、ノイズや複雑性に対してロバストな正確なランク推定を達成する。
• 広範な数値実験の結果、GH事前分布がテンソル成分内の多様なスパースネスレベルに効果的に適応できることを確認した。
• 閉形式の変分推論更新式により、計算効率とスケーラビリティが確保され、実用的導入が可能である。
• 真のランクが高く、またはSNRが低い状況において、ランク推定の精度において既存手法を上回る性能を発揮する。
• GH事前分布はガウス・ガンマモデルを一般化し、確率的CPDにおける自動テンソルランク学習のためのより包括的で柔軟なフレームワークを提供する。