[论文解读] Going Deeper with Convolutions

Christian Szegedy, Wei Liu+7 more|arXiv (Cornell University)|Sep 17, 2014

Advanced Neural Network Applications参考文献 12被引用 1,382

一句话总结

本文提出了 GoogLeNet，一种名为 Inception 的深度卷积神经网络架构，在 ImageNet 分类与检测任务中实现了最先进性能，且参数量显著少于先前模型。通过使用创新的 Inception 模块，结合多尺度卷积滤波器与 1×1 卷积进行降维，网络在保持固定计算预算的前提下，有效提升了深度与宽度，最终在 ILSVRC 2014 检测挑战中，通过六个模型的集成实现了 43.9% 的 mAP。

ABSTRACT

We propose a deep convolutional neural network architecture codenamed "Inception", which was responsible for setting the new state of the art for classification and detection in the ImageNet Large-Scale Visual Recognition Challenge 2014 (ILSVRC 2014). The main hallmark of this architecture is the improved utilization of the computing resources inside the network. This was achieved by a carefully crafted design that allows for increasing the depth and width of the network while keeping the computational budget constant. To optimize quality, the architectural decisions were based on the Hebbian principle and the intuition of multi-scale processing. One particular incarnation used in our submission for ILSVRC 2014 is called GoogLeNet, a 22 layers deep network, the quality of which is assessed in the context of classification and detection.

研究动机与目标

• 设计一种深度卷积神经网络，在保持计算效率的同时最大化表征能力。
• 在不增加计算成本的前提下，提升图像分类与目标检测的性能。
• 探索架构创新，使网络在深度与宽度增加的同时，参数量与 FLOPs 不成比例增长。
• 通过优化推理效率，开发适用于移动与嵌入式设备实际部署的模型。
• 验证 Inception 模块在实现高精度、高效深度网络方面的有效性。

提出的方法

• 引入 Inception 模块，通过并行应用不同尺寸的卷积滤波器（1×1、3×3、5×5）与最大池化操作，捕获多尺度特征。
• 使用 1×1 卷积作为瓶颈层，降低维度并缓解计算瓶颈，从而支持更深更宽的网络结构。
• 采用全局平均池化替代全连接层，以减少过拟合并降低参数数量。
• 在中间层引入辅助分类器，以改善深层网络中的梯度流动与训练稳定性。
• 设计 GoogLeNet 为一个 22 层的深度网络，由堆叠的 Inception 模块构成，计算预算固定为 15 亿 FLOPs。
• 采用受 R-CNN 启发的两阶段检测流程，使用选择性搜索生成多框提议，并通过六个基于 Inception 的分类器集成完成区域分类。

实验结果

研究问题

• RQ1 通过提升架构效率，是否可在不增加计算成本的前提下，使深度神经网络实现更高准确率？
• RQ2 如何在最小化参数增长的同时，有效整合多尺度特征提取到深度 CNN 中？
• RQ3 1×1 卷积在多大程度上可作为降维手段，以支持更深更宽的网络结构？
• RQ4 是否可使用密集可学习组件近似高度结构化、类似稀疏的网络架构，以实现高性能？
• RQ5 在相同计算约束下，Inception 架构是否在分类与目标检测任务中均优于标准深度网络？

主要发现

• GoogLeNet 通过六个模型的集成，在 ILSVRC 2014 检测挑战中实现了 43.9% 的 mAP，优于所有其他参赛模型。
• 该模型参数量仅为 ILSVRC 2012 冠军架构的 1/12，但准确率显著更高。
• 1×1 卷积的使用降低了计算负担，使网络在不增加 FLOPs 的前提下实现更深更宽的结构。
• Inception 模块通过并行使用不同卷积核大小的卷积操作，有效提升了多尺度模式的特征表示能力。
• 即使未使用边界框回归或上下文建模，GoogLeNet 在单模型检测中仍达到 38.02% 的 mAP，展现出强大的泛化能力。
• 该架构表明，通过优化架构设计，而非单纯增加参数量，即可构建高效且高性能的模型。