[论文解读] Matrix Variate RBM and Its Applications

Guanglei Qi, Yanfeng Sun+3 more|arXiv (Cornell University)|Jan 5, 2016

Vehicle License Plate Recognition参考文献 28被引用 3

一句话总结

本文提出矩阵变体受限玻尔兹曼机（MVRBM），一种显式利用双线性连接建模二维矩阵数据的生成模型，通过保留可见层与隐藏层的矩阵形式，维持空间结构并减少参数量。MVRBM在图像超分辨率和数字识别任务中实现了与标准RBMs相当的性能，同时训练和推理速度显著提升。

ABSTRACT

Restricted Boltzmann Machine (RBM) is an importan- t generative model modeling vectorial data. While applying an RBM in practice to images, the data have to be vec- torized. This results in high-dimensional data and valu- able spatial information has got lost in vectorization. In this paper, a Matrix-Variate Restricted Boltzmann Machine (MVRBM) model is proposed by generalizing the classic RBM to explicitly model matrix data. In the new RBM model, both input and hidden variables are in matrix forms which are connected by bilinear transforms. The MVRBM has much less model parameters, resulting in a faster train- ing algorithm while retaining comparable performance as the classic RBM. The advantages of the MVRBM have been demonstrated on two real-world applications: Image super- resolution and handwritten digit recognition.

研究动机与目标

• 解决传统RBMs在对二维图像数据进行向量化处理时导致的空间相关性损失问题。
• 通过利用矩阵结构而非向量化数据，减少基于RBMs模型的参数数量。
• 开发一种可扩展且高效的矩阵变体数据生成模型，在学习和推理过程中保持空间信息。
• 在真实计算机视觉应用（如图像超分辨率和手写数字识别）中展示MVRBM的有效性。
• 通过结构化参数化方法，为将基于RBMs的模型扩展至高阶张量数据奠定基础。

提出的方法

• 通过将可见单元和隐藏单元均表示为二维矩阵而非向量，推广经典RBMs。
• 使用由两个矩阵U和V参数化的双线性变换来建模可见单元与隐藏单元之间的相互作用，形成克罗内克积U^T ⊗ V^T。
• 通过克罗内克积约束权重矩阵为低秩结构，从而减少自由参数数量，避免完全连接。
• 为MVRBM框架中的随机学习优化模型参数，适配对比发散（CD）算法。
• 采用两步推理过程：从可见层向隐藏层传播，再从隐藏表示重建可见层，实现高效超分辨率。
• 在图像超分辨率中以分块方式应用MVRBM，将低分辨率图像块作为输入，重建出高分辨率对应块。

实验结果

研究问题

• RQ1 与向量化RBMs相比，矩阵变体RBMs是否能更有效地保留二维图像数据中的空间相关性？
• RQ2 通过MVRBM中的双线性参数化减少参数数量，是否能在不牺牲性能的前提下实现更快的训练和推理速度？
• RQ3 在重建质量与速度方面，MVRBM与标准RBMs及其他超分辨率方法相比表现如何？
• RQ4 MVRBM框架能否扩展至二维矩阵以外的更高阶张量数据？
• RQ5 基于MVRBM的图像超分辨率中，最优图像块尺寸与隐藏层维度为何？

主要发现

• 在Lena图像上，MVRBM实现了35.3006 dB的PSNR，优于双三次插值（34.1282 dB），并接近基于稀疏表示的超分辨率方法（35.8963 dB）的性能。
• MVRBM方法在Lena图像上的重建耗时为36.116秒，显著快于基于稀疏表示的超分辨率方法所需的679.529秒。
• 对于Bird图像，MVRBM实现了36.2514 dB的PSNR，重建耗时35.196秒，优于双三次插值（34.5184 dB），且在精度上与超分辨率方法相当，但速度远快于后者。
• MVRBM超分辨率的最优图像块尺寸被确定为30×30，该配置在所有测试配置中实现了最高的PSNR（35.3606 dB）。
• MVRBM模型在保持与标准RBMs相当的重建性能的同时，显著减少了参数数量并提升了计算效率。
• 该模型的双线性结构使其可轻松扩展至更高阶张量数据，为未来在视频或多光谱图像等复杂多维数据中的应用铺平道路。