[论文解读] Hierarchically Compositional Tasks and Deep Convolutional Networks

Arturo Deza, Qianli Liao+2 more|arXiv (Cornell University)|Jun 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 89被引用 4

一句话总结

本文通过考察函数中分层组合结构的作用，研究了深度卷积网络（DCNs）为何在某些视觉任务上优于全连接网络。通过使用确定性打乱来破坏局部图像结构，研究发现DCNs在具有分层局部性的任务（如物体识别）中表现优异，而浅层全连接网络在非组合性任务（如全局颜色估计）中表现更优，表明网络架构的归纳偏置必须与任务的功能结构相匹配。

ABSTRACT

The main success stories of deep learning, starting with ImageNet, depend on deep convolutional networks, which on certain tasks perform significantly better than traditional shallow classifiers, such as support vector machines, and also better than deep fully connected networks; but what is so special about deep convolutional networks? Recent results in approximation theory proved an exponential advantage of deep convolutional networks with or without shared weights in approximating functions with hierarchical locality in their compositional structure. More recently, the hierarchical structure was proved to be hard to learn from data, suggesting that it is a powerful prior embedded in the architecture of the network. These mathematical results, however, do not say which real-life tasks correspond to input-output functions with hierarchical locality. To evaluate this, we consider a set of visual tasks where we disrupt the local organization of images via "deterministic scrambling" to later perform a visual task on these images structurally-altered in the same way for training and testing. For object recognition we find, as expected, that scrambling does not affect the performance of shallow or deep fully connected networks contrary to the out-performance of convolutional networks. Not all tasks involving images are however affected. Texture perception and global color estimation are much less sensitive to deterministic scrambling showing that the underlying functions corresponding to these tasks are not hierarchically local; and also counter-intuitively showing that these tasks are better approximated by networks that are not deep (texture) nor convolutional (color). Altogether, these results shed light into the importance of matching a network architecture with its embedded prior of the task to be learned.

研究动机与目标

• 识别哪些现实世界的视觉任务对应于具有分层局部性的函数，这是深度卷积网络实现指数级近似优势的关键结构特性。
• 评估深度卷积网络在物体识别中取得成功是否源于其对分层组合性的架构归纳偏置。
• 检验假设：缺乏分层结构的任务（如全局颜色估计或纹理感知）可能更适合由非卷积或浅层架构近似。
• 通过确定性打乱破坏图像结构并测量不同架构的性能变化，探究深度卷积网络的局限性。
• 通过实证验证近似理论的结果，表明DCNs并非在所有情况下都更优，而是取决于任务特定的功能结构。

提出的方法

• 对图像应用确定性打乱，以破坏局部空间组织，同时保持训练和测试的结构一致性。
• 在相同任务上训练并评估三种网络架构：深度卷积网络（如ThreeConvNet、VGG11）、浅层全连接网络（SFCN）、宽全连接网络（Wide-Net）和深层全连接网络（Deep-Net）。
• 使用均方误差（MSE）损失在全局颜色估计任务上训练网络，并测量不同打乱程度下的近似误差。
• 通过在不同图像打乱程度下比较各架构的性能，评估其对局部结构丧失的敏感性。
• 借鉴近似理论中的理论结果来设计实验，特别是深度卷积网络在分层局部函数上的指数级参数效率。
• 使用CIFAR-100数据集进行物体识别和颜色估计任务，对未修改图像和打乱版本均进行训练和测试。

实验结果

研究问题

• RQ1 哪些视觉任务本质上具有分层组合性，因而能从深度卷积网络的归纳偏置中受益？
• RQ2 对图像结构进行确定性打乱，如何影响深度卷积网络与全连接网络在不同视觉任务上的性能？
• RQ3 像全局颜色估计或纹理感知这类缺乏分层局部性的任务，是否更适合由非卷积或浅层架构完成？
• RQ4 网络的架构归纳偏置与目标任务的功能结构在多大程度上保持一致？
• RQ5 能否通过受控的图像操作，实证验证深度卷积网络在近似分层局部函数方面的理论优势？

主要发现

• 深度卷积网络在物体识别任务中显著优于浅层全连接网络，即使在确定性打乱后依然如此，证实其对分层局部性的依赖。
• 浅层全连接网络在全局颜色估计中的均方误差低于深度卷积网络，表明颜色估计不具备分层组合性，且更受益于简单架构。
• 宽全连接网络在颜色估计中优于深层全连接网络和深度卷积网络，表明非卷积架构的更大容量能更好地近似全局非组合函数。
• 随着图像打乱程度增加、局部结构被破坏，深度卷积网络的性能趋近于浅层全连接网络，表明DCNs即使在无局部结构时仍试图利用局部性。
• ThreeConvNet尽管在纹理感知任务中表现优异，但在颜色估计任务中相对全连接网络表现较差，证实卷积归纳偏置在全局非局部任务中并非最优。
• 结果实证验证了理论主张：深度卷积网络仅在具有分层局部性的函数上具有指数级近似优势，而非全局或非组合性函数。