[论文解读] Dense-TNT: Efficient Vehicle Type Classification Neural Network Using Satellite Imagery

Ruikang Luo, Yaofeng Song+6 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Neural Network Applications被引用 11

一句话总结

该论文提出Dense-TNT，一种新型神经网络，结合DenseNet与Transformer-in-Transformer（TNT）架构，以提升在恶劣天气条件下从卫星图像中进行车辆类型分类的性能。该模型通过增强局部与全局特征提取，在浓雾条件下实现了比ViT和PoolFormer等基线模型高出最多10%的准确率，表现出更强的鲁棒性。

ABSTRACT

Accurate vehicle type classification serves a significant role in the intelligent transportation system. It is critical for ruler to understand the road conditions and usually contributive for the traffic light control system to response correspondingly to alleviate traffic congestion. New technologies and comprehensive data sources, such as aerial photos and remote sensing data, provide richer and high-dimensional information. Also, due to the rapid development of deep neural network technology, image based vehicle classification methods can better extract underlying objective features when processing data. Recently, several deep learning models have been proposed to solve the problem. However, traditional pure convolutional based approaches have constraints on global information extraction, and the complex environment, such as bad weather, seriously limits the recognition capability. To improve the vehicle type classification capability under complex environment, this study proposes a novel Densely Connected Convolutional Transformer in Transformer Neural Network (Dense-TNT) framework for the vehicle type classification by stacking Densely Connected Convolutional Network (DenseNet) and Transformer in Transformer (TNT) layers. Three-region vehicle data and four different weather conditions are deployed for recognition capability evaluation. Experimental findings validate the recognition ability of our proposed vehicle classification model with little decay, even under the heavy foggy weather condition.

研究动机与目标

• 解决在雾和霾等恶劣天气条件下，从卫星图像中实现准确车辆类型分类的挑战。
• 克服传统卷积网络在捕捉全局上下文方面的局限性，以及视觉变换器对图像质量退化敏感的问题。
• 开发一种深度学习框架，有效整合DenseNet的局部特征学习能力与TNT的全局注意力机制，以提升模型鲁棒性。
• 在多种地理区域和多种天气条件下（包括模拟的轻度、中度和重度雾霾）验证模型性能。
• 证明在遥感数据上进行端到端训练，即使在图像质量显著退化的情况下，也能获得更高的分类准确率。

提出的方法

• 提出一种混合神经架构Dense-TNT，将DenseNet模块用于局部特征提取，同时引入Transformer-in-Transformer（TNT）模块用于全局上下文建模。
• 采用双分支设计：第一分支通过DenseNet处理局部图像块，以捕捉精细的空间细节；第二分支应用TNT模块，以建模跨图像块的长距离依赖关系。
• 通过拼接或逐元素相加的方式融合双分支的特征表示，再进行最终分类。
• 在包含多地区卫星图像的数据集上，使用交叉熵损失函数，结合数据增强与归一化技术，进行端到端训练。
• 使用基于物理的气溶胶散射模型模拟雾天条件，生成三种退化等级：轻度（fog=0.08）、中度（fog=0.16）和重度（fog=0.24）。
• 使用AdamW优化器，初始最大学习率设为2e-3，训练周期为50轮，批量大小设置为训练数据总量的1%，在RTX 3060 GPU上进行训练。

实验结果

研究问题

• RQ1 混合DenseNet-TNT架构是否能在低质量卫星图像上的车辆类型分类任务中超越标准视觉变换器和卷积神经网络？
• RQ2 所提出的Dense-TNT模型在不同程度的大气退化（如雾霾）条件下表现如何？
• RQ3 将局部特征学习（DenseNet）与全局特征学习（TNT）相结合，能在多大程度上提升模型在恶劣天气下的鲁棒性？
• RQ4 该模型是否能在具有不同车辆分布和城市布局的多样化地理区域中保持高准确率？
• RQ5 在雾天条件下，Dense-TNT的性能增益是否在多个评估指标（准确率、精确率、召回率、F1值）上保持一致？

主要发现

• 在重度雾霾条件下（fog=0.24），Dense-TNT s24的F1值达到0.8787，优于ViT l12（F1=0.8471）和PoolFormer s24（F1=0.8635）。
• 在重度雾霾条件下，Dense-TNT s24相比基线模型准确率提升5%–10%，其中F1值和召回率的增益最为显著。
• 在正常条件下，模型保持了高精确率（0.8240）和高召回率（0.9215），表明其具备出色的泛化能力和鲁棒性。
• 即使在重度雾霾下，Dense-TNT s24仍保持0.8712的准确率，相较于其他模型表现出更小的性能衰减。
• F1值直方图（图8）证实，Dense-TNT在所有雾霾等级下均持续优于所有基线模型，尤其在重度雾霾下优势最大。
• Dense-TNT s12在性能上也优于ViT l2和PoolFormer s12，表明其在小型模型变体中同样具备可扩展性和有效性。