[论文解读] Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians

Peiyun Hu, Deva Ramanan|arXiv (Cornell University)|Jul 21, 2015

Human Pose and Action Recognition参考文献 59被引用 6

一句话总结

该论文提出了一种分层修正高斯（Rectified Gaussian, RG）模型，通过基于二次能量函数的递归网络（采用修正线性单元）将自顶向下的反馈整合到卷积神经网络（CNN）中。该方法在不增加参数数量的前提下，实现了遮挡条件下关键点定位的最先进性能，通过双向推理提升了空间理解能力，在MPII和LSP基准测试中显著提升了性能。

ABSTRACT

Convolutional neural nets (CNNs) have demonstrated remarkable performance in recent history. Such approaches tend to work in a unidirectional bottom-up feed-forward fashion. However, practical experience and biological evidence tells us that feedback plays a crucial role, particularly for detailed spatial understanding tasks. This work explores bidirectional architectures that also reason with top-down feedback: neural units are influenced by both lower and higher-level units. We do so by treating units as rectified latent variables in a quadratic energy function, which can be seen as a hierarchical Rectified Gaussian model (RGs). We show that RGs can be optimized with a quadratic program (QP), that can in turn be optimized with a recurrent neural network (with rectified linear units). This allows RGs to be trained with GPU-optimized gradient descent. From a theoretical perspective, RGs help establish a connection between CNNs and hierarchical probabilistic models. From a practical perspective, RGs are well suited for detailed spatial tasks that can benefit from top-down reasoning. We illustrate them on the challenging task of keypoint localization under occlusions, where local bottom-up evidence may be misleading. We demonstrate state-of-the-art results on challenging benchmarks.

研究动机与目标

• 解决单向自底向上CNN在细节空间推理任务中，尤其是在遮挡情况下的局限性。
• 基于分层概率模型的贝叶斯概率框架，将自顶向下的反馈整合到深度网络中。
• 通过将优化过程展开为递归网络，实现使用标准深度学习工具箱对分层模型进行判别式训练。
• 在不增加模型参数数量的前提下，提升视觉审视类任务（如关键点定位和可见性预测）的性能。
• 通过修正高斯分布，在CNN与分层概率模型之间建立理论与实践的联系。

提出的方法

• 将神经单元建模为二次能量函数中的非负隐变量，形成修正高斯（RG）分布。
• 使用对称权重矩阵W和偏置向量b，编码分层结构中各层之间的双向交互。
• 通过坐标下降法求解二次规划（QP）问题，该过程被展开为带有ReLU激活的递归神经网络。
• 利用GPU加速的梯度下降法优化RG模型，实现与标准深度学习框架兼容的端到端训练。
• 通过添加反馈路径，在VGG16等最先进架构中应用该方法，且不增加参数数量。
• 采用多尺度自底向上特征，并通过递归反馈迭代优化预测，提升定位精度。

实验结果

研究问题

• RQ1 自顶向下的反馈能否在遮挡或模糊视觉条件下提升关键点定位性能？
• RQ2 基于修正高斯的分层概率模型能否使用深度学习工具箱实现端到端训练？
• RQ3 在不增加模型复杂度的前提下，将双向推理整合到CNN中是否能提升视觉审视类任务的性能？
• RQ4 反馈迭代次数如何影响分层RG模型的性能表现？
• RQ5 自顶向下的反馈是否不仅能提升定位性能，还能增强关键点可见性预测能力？

主要发现

• 所提出的自顶向下模型${\bf QP}_2$在MPII基准测试中达到82.4%的PCKh-0.5，优于先前最先进方法。
• 在LSP数据集中，自顶向下模型将PCKh-0.5从自底向上方法的76.8%提升至78.6%，较基线提升2%。
• 在MPII数据集上，可见性预测的召回率从80%精确率下的44%提升至49%，表明推理能力显著增强。
• 具有四次反馈迭代的模型（${\bf QP}_4$）在较小网络中达到最高性能，而${\bf QP}_2$在速度与精度之间提供了良好的平衡。
• 自顶向下模型推理速度达86.5 ms，比先前方法TB [45]快2倍，且精度更高。
• 所有递归RG模型均优于自底向上基线，证实即使不增加参数，反馈也能提升特征质量。