[论文解读] Learning Convolutional Neural Networks using Hybrid Orthogonal Projection and Estimation

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|Jun 20, 2016

Image Processing Techniques and Applications被引用 8

一句话总结

本文提出混合正交投影与估计（HOPE）方法，通过在特征提取过程中强制实施正交性，以增强卷积神经网络（CNNs）的性能。该方法提出两种变体——HOPE-Input（应用于输入层之后）和HOPE-Pooling（替代标准池化层），有效降低了特征相关性和噪声，在未使用数据增强的情况下，于CIFAR-10和CIFAR-100数据集上实现了最先进（SOTA）的top-3错误率。

ABSTRACT

Convolutional neural networks (CNNs) have yielded the excellent performance in a variety of computer vision tasks, where CNNs typically adopt a similar structure consisting of convolution layers, pooling layers and fully connected layers. In this paper, we propose to apply a novel method, namely Hybrid Orthogonal Projection and Estimation (HOPE), to CNNs in order to introduce orthogonality into the CNN structure. The HOPE model can be viewed as a hybrid model to combine feature extraction using orthogonal linear projection with mixture models. It is an effective model to extract useful information from the original high-dimension feature vectors and meanwhile filter out irrelevant noises. In this work, we present three different ways to apply the HOPE models to CNNs, i.e., {\em HOPE-Input}, {\em single-HOPE-Block} and {\em multi-HOPE-Blocks}. For {\em HOPE-Input} CNNs, a HOPE layer is directly used right after the input to de-correlate high-dimension input feature vectors. Alternatively, in {\em single-HOPE-Block} and {\em multi-HOPE-Blocks} CNNs, we consider to use HOPE layers to replace one or more blocks in the CNNs, where one block may include several convolutional layers and one pooling layer. The experimental results on both Cifar-10 and Cifar-100 data sets have shown that the orthogonal constraints imposed by the HOPE layers can significantly improve the performance of CNNs in these image classification tasks (we have achieved one of the best performance when image augmentation has not been applied, and top 5 performance with image augmentation).

研究动机与目标

• 将混合正交投影与估计（HOPE）框架集成到标准CNN架构中，以改善特征表示。
• 探究在特征投影层中施加正交性约束如何提升CNN在图像分类任务中的性能。
• 评估在CNN不同阶段应用HOPE的有效性，特别是作为输入变换（HOPE-Input）或池化层替代方案（HOPE-Pooling）。
• 将基于HOPE的模型与基线CNN及其它最先进架构在CIFAR-10和CIFAR-100数据集上进行对比，且不使用数据增强。
• 评估HOPE层在GPU硬件上的训练速度与资源使用效率。

提出的方法

• 在输入层后立即应用HOPE作为线性正交投影层，以去相关高维输入特征（HOPE-Input）。
• 用执行维度压缩的正交投影的HOPE层替代标准的最大池化或平均池化层，同时保留有用信息（HOPE-Pooling）。
• 通过在损失函数中引入惩罚项，强制约束HOPE层中的投影矩阵保持正交，确保训练过程中变换矩阵保持正交化。
• 在HOPE框架下使用最大似然估计与最小交叉熵学习进行反向传播训练，同时保持投影层的正交性。
• 使用可学习缩放因子β的参数化正交矩阵实现HOPE层，每25个周期更新一次β以改善收敛性。
• 所有模型均使用小批量SGD进行训练，超参数固定：初始初始学习率=0.06，每25个周期减半，动量=0.9，权重衰减=0.0005，所有权重均采用He初始化。

实验结果

研究问题

• RQ1 HOPE框架能否被有效适配于卷积神经网络，以提升图像分类性能？
• RQ2 通过HOPE在特征投影层中强制正交性，是否能带来比标准CNN更好的泛化能力与更低的错误率？
• RQ3 在CIFAR-10和CIFAR-100上，HOPE-Input与HOPE-Pooling在分类准确率与鲁棒性方面表现如何比较？
• RQ4 将HOPE层集成到CNN中带来的计算开销如何？其在GPU硬件上是否仍保持高效？
• RQ5 基于HOPE的CNN能否在不使用数据增强的情况下实现最先进性能，特别是在CIFAR-10和CIFAR-100等小规模基准上？

主要发现

• HOPE-Input与HOPE-Pooling结合的CNN在CIFAR-10上达到7.57%的top-3错误率，在CIFAR-100上达到29.80%，为未使用数据增强情况下的最先进性能。
• HOPE-Input将CIFAR-10的错误率从基线的8.30%降低至7.81%，CIFAR-100从30.71%降至29.96%，表现出持续改进。
• HOPE-Pooling在CIFAR-10上实现8.21%的错误率，在CIFAR-100上为30.60%，优于基线及LIN-Pooling配置。
• HOPE-Input与HOPE-Pooling的组合取得了最佳整体性能，优于ALL-CNN、Maxout和Network in Network等知名模型。
• HOPE模型的学习速度为每秒190–208张图像，仅略慢于基线模型（每秒220张图像），表明计算开销可忽略不计。
• 未施加正交性约束的LIN变体模型始终表现逊于其HOPE对应模型，证实了在特征学习中强制正交性的有效性。