[論文レビュー] Bayesian Tensor Regression

Rajarshi Guhaniyogi, Shaan Qamar+1 more|arXiv (Cornell University)|Sep 22, 2015

Tensor decomposition and applications参考文献 13被引用数 3

ひとこと要約

本稿は、スカラー応答変数とテンソル予測子を用いたベイジアンテンソル回帰フレームワークを提案する。マルチウェイ縮約事前分布を用いることで、テンソル構造を保持しつつ、自動的なスパarsity誘導が可能となる。この手法は後方一致性を達成し、ベクトル化手法や既存のテンソル回帰手法と比較して、推定および予測性能に優れ、特にサンプルサイズが小さい神経画像応用において顕著な優位性を示す。

ABSTRACT

This article proposes a Bayesian approach to regression with a scalar response against vector and tensor covariates. Tensor covariates are commonly vectorized prior to analysis, failing to exploit the structure of the tensor, and resulting in poor estimation and predictive performance. We develop a novel class of multiway shrinkage priors for the coefficients in tensor regression models. Properties are described, including posterior consistency under mild conditions, and an efficient Markov chain Monte Carlo algorithm is developed for posterior computation. Simulation studies illustrate substantial gains over vectorizing or using existing tensor regression methods in terms of estimation and parameter inference. The approach is further illustrated in a neuroimaging application. Keywords: Dimension reduction; multiway shrinkage prior; magnetic resonance imaging (MRI); parafac decomposition; posterior consistency; tensor regression

研究の動機と目的

• 回帰におけるテンソル予測子のベクトル化による限界を解決する。これには、空間的構造が失われ、推定および予測性能が低下するという問題が含まれる。
• テンソル構造を保持し、縮約事前分布による自動変数選択を可能にするベイジアンフレームワークの構築。
• やや弱い正則性条件のもとでテンソル回帰における後方一致性の確立。
• 低次元または中程度のサンプルサイズ設定において、パラメータ推定および予測推定の妥当な不確実性評価の提供。
• 縮約事前分布によるスパarsity誘導を通じた、モデルベースのランク選択の実現。

提案手法

• PARAFAC分解における成分ベクトルのスケールとスパarsityを制御する逆ガンマ分布およびディリクレ分布を含む階層的事前分布構造を備えた、テンソル回帰係数のための新しいマルチウェイ縮約事前分布クラスを提案。
• MCMCアルゴリズムを用いて後方確率を計算し、完全なベイジアン推論と不確実性評価を可能にする。
• 有効次元を低減しつつもマルチウェイ構造を保持するため、ランクRのPARAFAC分解を介してテンソル構造のパラメータを定義。
• 濃縮不等式を活用し、真のテンソルパラメータの近傍における後方確率の下界を構築することで、後方一致性を導出。
• ハイパーパラメータを用いた自己キャリブレーション機構を導入し、データに応じてモデルの複雑さを適応的に制御。交差検証によるチューニングに依存しない。

実験結果

リサーチクエスチョン

• RQ1 マルチウェイ縮約事前分布を用いたベイジアンテンソル回帰モデルは、やや弱い正則性条件のもとで後方一致性を達成できるか？
• RQ2 提案手法は、ベクトル化回帰および既存のテンソル回帰手法と比較して、推定精度および予測性能において優れているか？
• RQ3 提案された縮約事前分布は、テンソルランクの内外でどれほど効果的にスパarsityを誘導できるか。特に神経画像データにおける有効な領域選択が可能になるか？
• RQ4 低次元または中程度のサンプルサイズ設定において、パラメータ推定および予測推定の妥当な不確実性評価が提供されるか？
• RQ5 階層的事前分布構造は、交差検証によるチューニングパラメータの必要なしに、自動的かつデータ適応的なモデル選択を可能にするか？

主な発見

• 提案されたベイジアンテンソル回帰モデルは、やや弱い正則性条件のもとで後方一致性を達成し、サンプルサイズが増加するにつれて真のパラメータに収束することが保証される。
• シミュレーションスタディでは、高次元でサンプルサイズが小さい設定において、ベクトル化回帰や既存のテンソル回帰手法と比較して推定およびパラメータ推論の性能が著しく向上することが示された。
• マルチウェイ縮約事前分布は、テンソルランクの内外で効果的にスパarsityを誘導し、テンソル内の重要なボクセルや領域の自動選択を可能にした。
• MCMCアルゴリズムにより完全なベイジアン推論が可能となり、パラメータおよび予測の両方における妥当な不確実性評価が得られた。これは、サンプルサイズが小さい設定において特に重要である。
• 交差検証によるチューニングに依存するペナルティ付き尤度手法と比較して、自己キャリブレーション機構を備えた階層的事前分布構造により、モデルの複雑さを適応的に制御できるため、本手法は優れている。
• 神経画像応用において、本手法は生物学的に意味のある関連脳領域を効果的に同定した。実用的価値と解釈可能性の両面で有効性を示した。