[论文解读] Bayesian Tensor Regression

Rajarshi Guhaniyogi, Shaan Qamar+1 more|arXiv (Cornell University)|Sep 22, 2015

Tensor decomposition and applications参考文献 13被引用 3

一句话总结

本文提出了一种使用多向收缩先验的贝叶斯张量回归框架，用于对张量型预测变量建模标量响应变量，保持张量结构并实现自动稀疏性诱导。该方法在估计和预测方面表现出色，尤其在样本量较小的神经影像学应用中优于向量化或现有张量回归方法，并实现了后验一致性。

ABSTRACT

This article proposes a Bayesian approach to regression with a scalar response against vector and tensor covariates. Tensor covariates are commonly vectorized prior to analysis, failing to exploit the structure of the tensor, and resulting in poor estimation and predictive performance. We develop a novel class of multiway shrinkage priors for the coefficients in tensor regression models. Properties are described, including posterior consistency under mild conditions, and an efficient Markov chain Monte Carlo algorithm is developed for posterior computation. Simulation studies illustrate substantial gains over vectorizing or using existing tensor regression methods in terms of estimation and parameter inference. The approach is further illustrated in a neuroimaging application. Keywords: Dimension reduction; multiway shrinkage prior; magnetic resonance imaging (MRI); parafac decomposition; posterior consistency; tensor regression

研究动机与目标

• 解决在回归中对张量预测变量进行向量化处理的局限性，后者会丢失空间结构并降低估计与预测性能。
• 开发一种保留张量结构的贝叶斯框架，并通过收缩先验实现自动变量选择。
• 在较弱的正则性条件下，建立张量回归的后验一致性。
• 在小样本或中等样本设置下，为参数与预测估计提供有效的不确定性量化。
• 通过收缩先验实现基于模型的秩选择，诱导张量秩之间及内部的稀疏性。

提出的方法

• 提出一类新型的多向收缩先验，用于张量回归系数，旨在诱导PARAFAC分解中张量秩之间及内部的稀疏性。
• 采用具有逆伽马与狄利克雷分量的层次先验结构，以控制PARAFAC分解中分量向量的尺度与稀疏性。
• 使用马尔可夫链蒙特卡洛（MCMC）算法进行后验计算，支持完整的贝叶斯推断与不确定性量化。
• 通过秩-R的PARAFAC分解对参数施加张量结构，以降低有效维度，同时保留多维结构。
• 通过构造真实张量参数邻域的后验概率下界，并利用浓度不等式，推导出后验一致性。
• 通过超先验引入自校准机制，自适应地根据数据控制模型复杂度，避免依赖交叉验证进行调参。

实验结果

研究问题

• RQ1 在较弱的正则性条件下，具有多向收缩先验的贝叶斯张量回归模型是否能实现后验一致性？
• RQ2 与向量化回归及现有张量回归方法相比，该方法在估计精度与预测性能方面表现如何？
• RQ3 所提出的收缩先验在多大程度上能诱导张量秩之间及内部的稀疏性，从而实现在神经影像数据中的有效区域选择？
• RQ4 该方法是否能在小样本或中等样本设置下，为参数与预测估计提供有效的不确定性量化？
• RQ5 层次先验结构是否能实现无需交叉验证调参的自动、数据自适应模型选择？

主要发现

• 所提出的贝叶斯张量回归模型在较弱正则性条件下实现了后验一致性，确保随着样本量增加，后验收敛至真实参数。
• 模拟研究显示，与向量化回归及现有张量回归方法相比，该方法在高维、小样本设置下显著提升了估计与参数推断性能。
• 多向收缩先验能有效诱导张量秩之间及内部的稀疏性，实现对张量中重要体素或区域的自动选择。
• MCMC算法支持完整的贝叶斯推断，并为参数与预测提供了有效的不确定性量化，这在小样本设置下至关重要。
• 与依赖交叉验证调参的惩罚似然方法相比，该方法表现更优，因其采用自校准的层次先验结构，可自适应调整模型复杂度。
• 在一项神经影像学应用中，该方法成功识别出与结果相关的生物上合理的脑区，展示了其实际应用价值与可解释性。