[论文解读] AOGNets: Compositional Grammatical Architectures for Deep Learning

Xilai Li, Xi Song+1 more|arXiv (Cornell University)|Nov 15, 2017

Adversarial Robustness in Machine Learning参考文献 73被引用 6

一句话总结

本文提出AOGNets，一种新颖的深度学习架构，通过整合AND-OR语法（AOG）生成具有组合性、可重构性的神经网络结构。通过使用AOG构建模块，联合解析特征图中的短语和依存文法，AOGNets在CIFAR-10、CIFAR-100、ImageNet-1K和MS-COCO基准上实现最先进准确率，优于ResNet、ResNeXt、DenseNet和SENet变体，同时在减少FLOPs和参数量的前提下提升了模型可解释性与对抗鲁棒性。

ABSTRACT

Neural architectures are the foundation for improving performance of deep neural networks (DNNs). This paper presents deep compositional grammatical architectures which harness the best of two worlds: grammar models and DNNs. The proposed architectures integrate compositionality and reconfigurability of the former and the capability of learning rich features of the latter in a principled way. We utilize AND-OR Grammar (AOG) as network generator in this paper and call the resulting networks AOGNets. An AOGNet consists of a number of stages each of which is composed of a number of AOG building blocks. An AOG building block splits its input feature map into N groups along feature channels and then treat it as a sentence of N words. It then jointly realizes a phrase structure grammar and a dependency grammar in bottom-up parsing the "sentence" for better feature exploration and reuse. It provides a unified framework for the best practices developed in state-of-the-art DNNs. In experiments, AOGNet is tested in the CIFAR-10, CIFAR-100 and ImageNet-1K classification benchmark and the MS-COCO object detection and segmentation benchmark. In CIFAR-10, CIFAR-100 and ImageNet-1K, AOGNet obtains better performance than ResNet and most of its variants, ResNeXt and its attention based variants such as SENet, DenseNet and DualPathNet. AOGNet also obtains the best model interpretability score using network dissection. AOGNet further shows better potential in adversarial defense. In MS-COCO, AOGNet obtains better performance than the ResNet and ResNeXt backbones in Mask R-CNN.

研究动机与目标

• 将最先进深度神经网络的最佳实践统一到一个基于语法模型的、原则性且具有组合性的框架中。
• 通过引入基于AND-OR语法（AOG）的语法引导网络生成器，解决在巨大神经架构空间中搜索的挑战。
• 在不增加计算成本或模型复杂度的前提下，提升模型性能、可解释性与对抗鲁棒性。
• 通过显式整合组合性与横向连接，实现结构化、可重构且可解释的深度网络架构。
• 证明语法引导架构可在多个基准上超越现有最先进模型，在准确率与鲁棒性方面表现更优。

提出的方法

• AOGNets由多个阶段组成，每个阶段包含一个或多个AOG构建模块，将输入特征图解析为N个通道组的'句子'。
• 每个AOG构建模块以自底向上的解析方式应用短语结构文法与依存文法，以实现灵活的特征探索与复用。
• 该架构采用分层AND-OR结构，其中OR节点表示替代的特征路径，AND节点表示多条路径的联合处理。
• 该方法引入横向连接（LC），以增强网络各层级之间的梯度流动与特征传播。
• 一种剪枝策略（RS）用于移除OR节点的对称子节点，以降低结构复杂度并提高有效特征维度。
• 该框架支持可重构性与组合式设计，可通过文法规则实现网络结构的动态重组。

实验结果

研究问题

• RQ1 语法引导的网络生成器能否将现代DNN的最佳实践统一到单一、可解释且可重构的架构中？
• RQ2 基于AOG的架构能否在图像分类与目标检测基准上超越ResNet与DenseNet等最先进模型？
• RQ3 组合语法原则的整合是否能提升模型的可解释性与对抗鲁棒性？
• RQ4 AOGNet能否在保持或减少FLOPs与参数量的同时超越现有模型？
• RQ5 横向连接与结构剪枝（RS）在AOGNet架构中的性能增益中起到了多大程度的贡献？

主要发现

• 在ImageNet-1K上，AOGNet以4030万参数实现80.18%的top-1准确率，优于ResNet-152（77.0%，6020万参数）、ResNeXt-101（79.6%，8390万参数）与DualPathNet-98（79.85%，6160万参数）。
• 在CIFAR-10上，AOGNet以423万参数实现3.52%的测试错误率，优于ResNet（4.62%）、Wide ResNet（4.81%）与DenseNet-BC（4.51%）。
• 在CIFAR-100上，AOGNet以423万参数实现17.99%的测试错误率，优于ResNet（22.71%）、Wide ResNet（22.07%）与DenseNet-BC（22.27%）。
• AOGNet在使用网络解构法时取得最高模型可解释性评分，表明其具有更优的结构透明性与特征解耦能力。
• 在MS-COCO目标检测与实例分割任务中，采用Mask R-CNN主干的AOGNet优于使用ResNet与ResNeXt主干的模型。
• 消融实验表明，横向连接（LC）与结构剪枝（RS）均对性能提升有贡献，LC在CIFAR-100上使错误率降低0.05%，RS降低0.13%。