[论文解读] Learning Tensor Train Representation with Automatic Rank Determination from Incomplete Noisy Data

Le Xu, Lei Cheng+2 more|arXiv (Cornell University)|Oct 13, 2020

Tensor decomposition and applications参考文献 29被引用 5

一句话总结

该论文提出了一种完全贝叶斯张量列车（TT）分解方法，通过使用高斯-乘积-伽马先验来在TT核心切片中诱导稀疏性，从而从不完整、含噪声的数据中自动确定TT秩。基于变分推理的学习算法成功恢复了真实TT结构，并在图像补全和分类任务中优于现有方法。

ABSTRACT

Tensor train (TT) decomposition, a powerful tool for analysing multidimensional data, exhibits superior performance in many signal processing and machine learning tasks. However, existing methods for TT decomposition either require the knowledge of the true TT ranks, or extensive fine-tuning the balance between model complexity and representation accuracy. In this paper, a fully Bayesian treatment of TT decomposition is employed to enable automatic rank determination. In particular, theoretical evidence is established for adopting a Gaussian-product-Gamma prior to induce sparsity on the slices of the TT cores, so that the model complexity is automatically determined even under incomplete and noisy observed data. Based on the proposed probabilistic model, an efficient learning algorithm is derived under the variational inference framework. Simulation results on synthetic data show the success of the proposed model and algorithm on recovering the ground-truth TT structure from incomplete noisy data. Further experiments on real world data demonstrate the proposed algorithm performs better in image completion and image classification, compared to other existing TT decomposition algorithms.

研究动机与目标

• 解决在真实秩未知的情况下张量分解中TT秩选择的挑战。
• 在数据不完整和含噪声的条件下实现鲁棒的TT分解。
• 开发一种概率模型，自动确定模型复杂度而无需人工调参。
• 在图像补全和分类等实际应用中提升性能。

提出的方法

• 采用完全贝叶斯框架进行TT分解，以实现不确定性量化和自动复杂度控制。
• 在TT核心切片上引入高斯-乘积-伽马先验，以诱导稀疏性并促进自动秩确定。
• 通过变分推理推导出一种高效的算法，以近似TT核心后验分布。
• 为选择该先验在不完整和含噪声观测下促进稀疏性和模型选择提供了理论依据。
• 通过在不确定性上进行边缘化，以合乎逻辑的概率方式联合估计TT核心及其秩。

实验结果

研究问题

• RQ1 所提出的贝叶斯TT分解模型是否能在无先验知识或人工调参的情况下自动确定正确的TT秩？
• RQ2 在含噪声和不完整数据条件下，所提出的高斯-乘积-伽马先验在诱导稀疏性和实现自动秩选择方面的有效性如何？
• RQ3 所提出方法在恢复真实张量结构方面相较于现有TT分解算法的优越程度如何？
• RQ4 该方法在图像补全和图像分类等实际应用中的表现如何？

主要发现

• 所提出方法成功从具有不完整和含噪声观测的合成数据中恢复了真实TT结构。
• 高斯-乘积-伽马先验为在TT核心切片中诱导稀疏性提供了理论依据，从而实现了自动秩确定。
• 在图像补全任务中，所提出的算法相比基线TT分解方法实现了更高的重建精度。
• 该方法在图像分类任务中表现出优越性能，表明其能从不完整数据中学习到更优的表示。