[论文解读] Bottom-up and top-down reasoning with convolutional latent-variable models

Peiyun Hu, Deva Ramanan|arXiv (Cornell University)|Jul 21, 2015

Advanced Neural Network Applications参考文献 45被引用 8

一句话总结

本文提出卷积潜在变量模型（CLVMs），一种双向神经架构，通过在全局能量函数中将神经元建模为潜在变量，统一了自底向上与自顶向下的推理。该方法在PASCAL和LFW等基准数据集上实现了毫秒级推理速度，在高层识别（如部件检测）和低层分组（如像素分割）任务中均达到最先进性能。

ABSTRACT

Convolutional neural nets (CNNs) have demonstrated remarkable performance in recent history. Such approaches tend to work in a unidirectional bottom-up feed-forward fashion. However, biological evidence suggests that feedback plays a crucial role, particularly for detailed spatial understanding tasks. This work introduces bidirectional architectures that also reason with top-down feedback: neural units are influenced by both lower and higher-level units. We do so by treating units as latent variables in a global energy function. We call our models convolutional latent-variable models (CLVMs). From a theoretical perspective, CLVMs unify several approaches for recognition, including CNNs, generative deep models (e.g., Boltzmann machines), and discriminative latent-variable models (e.g., DPMs). From a practical perspective, CLVMs are particularly well-suited for multi-task learning. We describe a single architecture that simultaneously achieves state-of-the-art accuracy for tasks spanning both high-level recognition (part detection/localization) and low-level grouping (pixel segmentation). Bidirectional reasoning is particularly helpful for detailed low-level tasks, since they can take advantage of top-down feedback. Our architectures are quite efficient, capable of processing an image in milliseconds. We present results on benchmark datasets with both part/keypoint labels and segmentation masks (such as PASCAL and LFW) that demonstrate a significant improvement over prior art, in both speed and accuracy.

研究动机与目标

• 为解决CNN中单向自底向上处理的局限性，通过受生物神经处理启发的自顶向下反馈加以改进。
• 在单一理论框架内统一多种识别方法，如CNN、Boltzmann机和判别模型。
• 通过在高层（如部件检测）与低层（如像素分割）视觉任务间共享单一架构，实现高效多任务学习。
• 通过利用自顶向下的上下文反馈，提升在细节空间理解任务中的性能。

提出的方法

• 在全局能量函数中将神经单元建模为潜在变量，以实现层间双向信息流动。
• 将CLVMs表述为概率图模型，其中能量最小化对应推理过程，整合生成式与判别式学习。
• 使用卷积结构以保持空间不变性与局部连接性，实现对视觉数据的高效处理。
• 使用变分推理端到端训练模型，以近似潜在变量的后验分布。
• 通过统一的能量基目标函数，实现自底向上特征提取与自顶向下上下文反馈的联合优化。
• 通过共享特征表示，同时应用于多个任务，如关键点检测与语义分割。

实验结果

研究问题

• RQ1 深度网络中的双向推理是否能提升像素级分割等细节空间理解任务的性能？
• RQ2 如何在单一深度学习框架中正式统一自底向上与自顶向下处理？
• RQ3 单一架构能否在包括部件检测与分割在内的多样化视觉任务中均实现最先进性能？
• RQ4 在多任务学习场景中，自顶向下反馈对推理速度与准确率有何影响？

主要发现

• CLVMs在PASCAL与LFW等基准数据集上，对部件/关键点检测与像素分割任务均实现了最先进准确率。
• 该模型处理图像仅需毫秒级时间，展现出适用于实时应用的高效率。
• 自顶向下反馈通过提供上下文约束，显著提升了低层分组任务的性能。
• 统一框架成功地将生成式、判别式与卷积方法整合于单一能量基公式之下。
• 使用CLVMs进行多任务学习可在无需架构特化的情况下，提升在多样化视觉任务中的泛化能力。