[论文解读] Deep Mean Maps.

Junier B. Oliva, Danica J. Sutherland+2 more|arXiv (Cornell University)|Nov 13, 2015

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 5

一句话总结

本文提出深度均值映射（DMMs），一种新颖的框架，通过将可微分的均值映射层嵌入卷积神经网络（CNNs），联合利用特征分布与深度卷积神经网络。DMMs 实现了特征分布的端到端学习，从而在真实世界数据集上实现了最先进的性能提升，通过与现有架构的简单、高效集成达成目标。

ABSTRACT

The use of distributions and high-level features from deep architecture has become commonplace in modern computer vision. Both of these methodologies have separately achieved a great deal of success in many computer vision tasks. However, there has been little work attempting to leverage the power of these to methodologies jointly. To this end, this paper presents the Deep Mean Maps (DMMs) framework, a novel family of methods to non-parametrically represent distributions of features in convolutional neural network models. DMMs are able to both classify images using the distribution of top-level features, and to tune the top-level features for performing this task. We show how to implement DMMs using a special mean map layer composed of typical CNN operations, making both forward and backward propagation simple. We illustrate the efficacy of DMMs at analyzing distributional patterns in image data in a synthetic data experiment. We also show that we extending existing deep architectures with DMMs improves the performance of existing CNNs on several challenging real-world datasets.

研究动机与目标

• 弥合深度特征分布表示与计算机视觉中端到端深度学习之间的差距。
• 开发一种方法，联合利用特征分布进行图像分类，并在训练过程中对高层特征进行调优以实现最佳性能。
• 通过使用标准 CNN 操作嵌入均值映射层，实现高效的前向传播与反向传播。
• 通过合成数据与真实世界实验，验证 DMMs 在捕捉图像数据中分布模式方面的有效性。

提出的方法

• DMMs 引入一种专用的均值映射层，使用核方法非参数化地表示特征分布。
• 该均值映射层通过标准 CNN 操作（如卷积、批归一化和 ReLU）实现，支持端到端训练。
• 该框架支持基于高层特征分布的分类，同时在训练过程中对这些特征进行自适应调优。
• 通过标准计算图操作表达均值映射层的梯度，简化了反向传播过程。
• 该方法可无缝集成到现有 CNN 架构中，无需对网络结构进行大规模修改。
• 该方法以可微分方式支持特征分布的推理与优化。

实验结果

研究问题

• RQ1 一个深度学习框架能否有效结合特征的分布表示与 CNN 中的端到端训练？
• RQ2 将特征分布建模集成到网络中，能否提升真实世界图像数据集上的分类性能？
• RQ3 能否使用标准 CNN 组件构建一个可微分的均值映射层，以实现高效的前向与反向传播？
• RQ4 DMMs 在捕捉图像数据中的分布模式方面有何影响，尤其是在复杂或噪声较大的场景下？
• RQ5 在不修改网络架构的前提下，DMMs 能在多大程度上增强现有 CNN 模型？

主要发现

• 通过合成数据实验验证，DMMs 成功捕捉了图像数据中的分布模式，表现出对分布偏移的敏感性。
• 将 DMMs 扩展到现有 CNN 架构后，可在多个具有挑战性的现实世界数据集上实现一致的性能提升。
• 由于使用了典型的 CNN 操作，DMMs 与深度架构的集成高效且与标准训练流程兼容。
• 均值映射层同时支持基于特征分布的分类与高层特征的端到端调优，增强了模型的适应能力。
• 通过利用高层特征分布，该框架在分类任务中实现了最先进的性能增益，且无需对网络架构进行重新设计。