[论文解读] Deep Learning for Scene Classification: A Survey

Delu Zeng, Minyu Liao+6 more|arXiv (Cornell University)|Jan 26, 2021

Advanced Image and Video Retrieval Techniques参考文献 261被引用 21

一句话总结

本综述全面概述了场景分类领域深度学习技术的进展，涵盖200余篇关键文献。文章详细介绍了基于CNN的方法、场景表征策略、RGB-D融合技术及性能基准，突出展示了自2012年深度学习兴起以来，在Places365和SUN397等大规模数据集上取得的显著准确率提升。

ABSTRACT

Scene classification, aiming at classifying a scene image to one of the predefined scene categories by comprehending the entire image, is a longstanding, fundamental and challenging problem in computer vision. The rise of large-scale datasets, which constitute the corresponding dense sampling of diverse real-world scenes, and the renaissance of deep learning techniques, which learn powerful feature representations directly from big raw data, have been bringing remarkable progress in the field of scene representation and classification. To help researchers master needed advances in this field, the goal of this paper is to provide a comprehensive survey of recent achievements in scene classification using deep learning. More than 200 major publications are included in this survey covering different aspects of scene classification, including challenges, benchmark datasets, taxonomy, and quantitative performance comparisons of the reviewed methods. In retrospect of what has been achieved so far, this paper is also concluded with a list of promising research opportunities.

研究动机与目标

• 提供场景分类领域深度学习技术的系统性与最新综述，涵盖从手工设计特征到端到端学习的演进过程。
• 分析并分类超过200篇场景分类领域的核心文献，重点关注语义模糊性以及成像条件导致的类内大变异性等挑战。
• 评估并比较不同深度学习架构与策略（包括预训练、微调及特定CNN模型）的性能表现。
• 探索RGB-D场景分类与多模态融合等新兴趋势，并识别该领域尚未解决的关键研究问题。

提出的方法

• 将场景分类的深度学习方法划分为三大主要框架：预训练CNN、微调CNN与专用CNN，各类方法具有不同的网络架构与训练策略。
• 将场景表征技术分类为五类：全局CNN特征、空间不变特征、语义特征、多层特征与多视角特征。
• 回顾提升场景表征的关键策略，包括编码方法（如语义FV、FCV）、注意力机制（通道注意力与空间注意力）、上下文建模（如LSTM、图网络）以及正则化技术（稀疏、结构化、监督正则化）。
• 分析利用深度信息特异性特征学习与多模态融合策略（如特征级、一致特征、独特特征融合）的RGB-D场景分类方法。
• 采用分类体系（图2）按架构、表征类型与策略组织方法，实现对不同方法的系统性比较。
• 使用数学公式形式化CNN操作，包括3D卷积（公式1）、ReLU激活（公式2）与Softmax交叉熵损失（公式3–5），以形式化学习过程。

实验结果

研究问题

• RQ1 与传统手工设计方法相比，深度学习模型（尤其是CNN）如何显著提升场景分类性能？
• RQ2 哪些关键的网络架构与表征策略推动了场景分类的最先进性能？
• RQ3 在准确率与鲁棒性方面，全局、空间不变、语义、多层与多视角等不同场景表征技术如何比较？
• RQ4 注意力机制、上下文建模与正则化在提升场景表征质量与分类准确率方面发挥何种作用？
• RQ5 RGB-D融合方法如何增强场景分类性能？针对多模态数据，最有效的融合策略是什么？

主要发现

• 基于深度学习的方法在Places365与SUN397等基准数据集上实现了显著的性能提升，top-1准确率从手工特征（如Dense-SIFT）的约50%提升至深度CNN的80%以上。
• 预训练CNN（如Places-CNN与基于ResNet的模型）因利用ImageNet预训练实现跨多样化场景类别的良好泛化能力，已成为主流方法。
• 注意力机制（尤其是通道注意力与空间注意力）显著提升了特征判别能力，MFAFVNet与VSAD等方法在复杂场景类别上实现了可测量的准确率增益。
• 多视角与多尺度CNN（如Scale-specific CNNs与LS-DHM）通过捕捉空间与尺度变化，在复杂布局场景中优于单视角模型。
• RGB-D融合策略，特别是基于一致特征与独特特征的融合方法，在深度感知数据集上表现优异，部分模型在NYUv2与ScanNet上实现了超过90%的top-1准确率。
• 正则化技术（如Dropout、批量归一化与多尺度数据增强）在减少过拟合并提升深度场景分类模型泛化能力方面起到了关键作用。