[论文解读] Low-rank Random Tensor for Bilinear Pooling.

Yan Zhang, Krikamol Muandet+3 more|arXiv (Cornell University)|Jun 3, 2019

Tensor decomposition and applications参考文献 13被引用 5

一句话总结

本文提出了一种基于低秩随机张量的双线性池化模型，通过减少参数量和计算成本，同时保持高阶特征表示能力。通过结合低秩张量分解与随机投影，该方法在神经网络中实现了高效且具有理论依据的特征融合，已在细粒度动作解析基准上达到最先进性能。

ABSTRACT

Bilinear pooling is capable of extracting high-order information from data, which makes it suitable for fine-grained visual understanding and information fusion. Despite their effectiveness in various applications, bilinear models with massive number of parameters can easily suffer from curse of dimensionality and intractable computation. In this paper, we propose a novel bilinear model based on low-rank random tensors. The key idea is to effectively combine low-rank tensor decomposition and random projection to reduce the number of parameters while preserving the model representativeness. From the theoretical perspective, we prove that our bilinear model with random tensors can estimate feature maps to reproducing kernel Hilbert spaces (RKHSs) with compositional kernels, grounding the high-dimensional feature fusion with theoretical foundations. From the application perspective, our low-rank tensor operation is lightweight, and can be integrated into standard neural network architectures to enable high-order information fusion. We perform extensive experiments to show that the use of our model leads to state-of-the-art performance on several challenging fine-grained action parsing benchmarks.

研究动机与目标

• 解决双线性池化模型中因参数量巨大而带来的维度灾难与不可行计算问题。
• 开发一种参数高效的双线性池化替代方案，同时保持其表征能力。
• 为使用随机张量和再生核希尔伯特空间（RKHS）进行高维特征融合提供理论依据。
• 实现高阶特征融合在标准神经网络架构中的无缝集成。
• 通过轻量化、可扩展的设计，在细粒度动作解析基准上实现最先进性能。

提出的方法

• 利用低秩张量分解减少双线性池化操作中的参数数量。
• 应用随机投影以高效近似高维特征映射。
• 结合低秩分解与随机投影，构建一种轻量化、可扩展的双线性模型。
• 理论分析表明，该模型可使用复合核在再生核希尔伯特空间（RKHS）中估计特征映射。
• 通过在参数减少的空间中保持双线性池化的表达能力，确保表征容量。
• 设计为可即插即用，适用于标准神经网络架构，支持端到端训练。

实验结果

研究问题

• RQ1 低秩随机张量是否能有效降低双线性池化中的参数量，同时保持表征能力？
• RQ2 所提出的方法是否为通过RKHS估计实现高维特征融合提供了理论依据？
• RQ3 该模型在细粒度视觉理解任务中与标准双线性池化相比表现如何？
• RQ4 该模型是否能以极低计算开销高效集成到标准神经网络架构中？
• RQ5 该方法在具有挑战性的动作解析基准上性能提升的幅度有多大？

主要发现

• 所提出的低秩随机张量模型相比标准双线性池化显著减少了参数数量，实现了高效计算。
• 理论分析证实，该模型可使用复合核在再生核希尔伯特空间（RKHS）中估计特征映射。
• 尽管参数量减少，该方法仍保持强大的表征能力，实现了有效的高阶特征融合。
• 大量实验表明，该模型在多个细粒度动作解析基准上达到最先进性能。
• 该模型在计算开销极小的情况下实现高精度，适用于视觉任务的实际部署。
• 该模型与标准神经网络的集成过程简单且高效，无需架构重构。