[论文解读] Factorized Bilinear Models for Image Recognition

Yanghao Li, Naiyan Wang+2 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

本文提出因子分解双线性（Factorized Bilinear, FB）层，通过低秩参数化在深度神经网络中建模成对特征交互，实现具有线性计算和参数复杂度的二次非线性。该方法在CIFAR-10、CIFAR-100和ImageNet上实现最先进性能，计算开销极小，并通过DropFactor正则化技术提升泛化能力。

ABSTRACT

Although Deep Convolutional Neural Networks (CNNs) have liberated their power in various computer vision tasks, the most important components of CNN, convolutional layers and fully connected layers, are still limited to linear transformations. In this paper, we propose a novel Factorized Bilinear (FB) layer to model the pairwise feature interactions by considering the quadratic terms in the transformations. Compared with existing methods that tried to incorporate complex non-linearity structures into CNNs, the factorized parameterization makes our FB layer only require a linear increase of parameters and affordable computational cost. To further reduce the risk of overfitting of the FB layer, a specific remedy called DropFactor is devised during the training process. We also analyze the connection between FB layer and some existing models, and show FB layer is a generalization to them. Finally, we validate the effectiveness of FB layer on several widely adopted datasets including CIFAR-10, CIFAR-100 and ImageNet, and demonstrate superior results compared with various state-of-the-art deep models.

研究动机与目标

• 提升卷积层和全连接层在CNN中的表征能力，超越线性变换。
• 在不引发参数或计算成本急剧增加的前提下，高效建模成对特征交互。
• 通过一种新型正则化方法DropFactor，缓解双线性模型中的过拟合问题。
• 将双线性池化推广至深层网络的所有层，同时保持可扩展性。

提出的方法

• 提出一种因子分解双线性（FB）层，通过双线性变换矩阵的低秩分解来建模二次特征交互。
• 采用秩约束的参数化方式，将参数数量和计算成本降低至与输入维度呈线性关系。
• 提出DropFactor正则化方法，训练过程中随机将双线性因子的元素置零，类似于Dropout。
• 将FB层应用于卷积层和全连接层，支持使用标准反向传播进行端到端训练。
• 在ImageNet上训练时采用标准数据增强和初始化策略，以确保公平比较。

实验结果

研究问题

• RQ1 是否能在不导致参数量急剧膨胀的前提下，在深度网络中高效建模成对特征交互？
• RQ2 双线性层的低秩分解是否能在降低计算成本的同时保持表征能力？
• RQ3 如DropFactor这样的专用正则化方法是否能有效防止双线性层的过拟合？
• RQ4 所提出的FB层是否能在包括小规模（CIFAR）和大规模（ImageNet）在内的多种基准数据集上提升性能？

主要发现

• 在CIFAR-100上，所提出的ResNet-164-FBN模型达到23.64%的top-1错误率，优于基线ResNet-164（5.30%错误率）及其他最先进模型。
• 在ImageNet上，ResNet-50-FBN将top-1错误率降低至24.0%，相比基线ResNet-50（24.7%错误率）提升0.7%。
• Inception-BN-FBN变体在ImageNet上达到26.4%的top-1错误率，相比原始Inception-BN（27.5%错误率）提升1.1%。
• 在细粒度数据集上，FBN在CUB-200-2011上达到17.09%错误率，在DTD上达到32.20%错误率，优于标准VGG-16，且计算成本更低，性能匹配或超越双线性池化方法。
• FBN模型保持了低内存和计算开销，参数量和推理时间仅随标准层呈线性增长。