[論文レビュー] Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion

Qibin Zhao, Liqing Zhang+1 more|arXiv (Cornell University)|May 10, 2015

Tensor decomposition and applications参考文献 31被引用数 48

ひとこと要約

本稿では、階層的ラプラスおよびスチューデントス・テ・プライアを用いた構造的スパarsityを実現するベイジアンスパースタッカー・モデルを提案し、多線形ランクの自動決定とテンソル補完を可能にする。この手法は変分ベイズ推論を用いてモデルパラメータとハイパーパrameterを同時に推定し、最小限のユーザ介入で合成データ、化学計測データ、およびMRIデータにおいて低ランク構造と欠損エントリの回復において優れた性能を達成する。

ABSTRACT

Tucker decomposition is the cornerstone of modern machine learning on tensorial data analysis, which have attracted considerable attention for multiway feature extraction, compressive sensing, and tensor completion. The most challenging problem is related to determination of model complexity (i.e., multilinear rank), especially when noise and missing data are present. In addition, existing methods cannot take into account uncertainty information of latent factors, resulting in low generalization performance. To address these issues, we present a class of probabilistic generative Tucker models for tensor decomposition and completion with structural sparsity over multilinear latent space. To exploit structural sparse modeling, we introduce two group sparsity inducing priors by hierarchial representation of Laplace and Student-t distributions, which facilitates fully posterior inference. For model learning, we derived variational Bayesian inferences over all model (hyper)parameters, and developed efficient and scalable algorithms based on multilinear operations. Our methods can automatically adapt model complexity and infer an optimal multilinear rank by the principle of maximum lower bound of model evidence. Experimental results and comparisons on synthetic, chemometrics and neuroimaging data demonstrate remarkable performance of our models for recovering ground-truth of multilinear rank and missing entries.

研究の動機と目的

• ノイズが多く、不完全なデータ下におけるタッカー分解における手動による多線形ランク選択の課題に対処すること。
• 構造的スパarsityプライアを用いたベイジアン推論により、モデルの複雑さを自動で適応させること。
• データの証拠から最適なランクを推定することで、テンソル補完における一般化性能を向上させること。
• 大規模なテンソル応用を想定し、多次元演算に基づくスケーラブルで効率的なアルゴリズムを開発すること。
• 潜在的要因の不確実性を考慮した推論を提供することで、低ランク回復におけるロバストネスを高めること。

提案手法

• 多線形潜在空間におけるグループスパarsityを誘導するため、階層的ラプラスおよびスチューデントス・テ・プライアを導入する。
• 潜在的要因、コアテンソル、ハイパーパrameterを同時に推定するために、変分ベイズ推論を採用する。
• 多次元演算と導出された定理を用いて、計算効率とスケーラビリティを向上させる。
• モデル証拠の下界の最大値の原則を適用し、最適な多線形ランクを自動的に決定する。
• ラプラスプライアを扱うために、非共役プライア推論を変分近似により実装する。
• 統一されたフレームワーク内で、完全に観測されたテンソル分解と部分的に観測されたテンソル補完の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンスパースタッカー・モデルは、手動での指定なしに最適な多線形ランクを自動的に決定できるか？
• RQ2 階層的プライアによる構造的スパarsityは、欠損データとノイズ下でのテンソル補完性能をどのように向上させるか？
• RQ3 非共役プライアを用いた変分ベイズ推論は、テンソル分解におけるロバストネスと一般化性能をどの程度向上させるか？
• RQ4 MRIおよび化学計測データにおいて、HaLRTC や iHOOI といった最先端の手法と比較して、本手法はどのように差をつけるか？
• RQ5 高い欠損率と非一様に分布する欠損データ下でも、モデルは高い性能を維持するか？

主な発見

• MRIデータにおける50％の欠損率下で、BTC-TとBTC-Lは最高のPSNR（27.32 ± 0.11）と最小のRRSE（0.12）を達成し、iHOOI や HaLRTC を上回った。
• 80％の欠損率下では、BTC-TがPSNR 20.14 ± 0.25、RRSE 0.25を達成し、HaLRTC（PSNR 17.37 ± 0.34）とiHOOI（PSNR 18.65 ± 0.30）を顕著に上回った。
• グローバルテンソル補完において、BTC-Tは80％の欠損率下でPSNR 22.33を達成し、WTucker（19.42）とiHOOI（19.77）を上回った。
• 合成データにおいて、高いノイズと欠損性下でも、真の多線形ランクを高い精度で回復できた。
• 図6の可視化結果は、特に高い欠損率下で、MRIデータにおけるBTC-Tの優れた再構成品質を確認した。
• BTC手法は神経画像や化学計測分野を含む多様なデータタイプにおいて、一貫した性能向上を示し、ロバストであることが確認された。