[論文レビュー] Dense-TNT: Efficient Vehicle Type Classification Neural Network Using Satellite Imagery

Ruikang Luo, Yaofeng Song+6 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

本論文は、DenseNetとTransformer-in-Transformer（TNT）アーキテクチャを組み合わせた新しいニューラルネットワーク、Dense-TNTを提案する。このモデルは、悪天候条件下における衛星画像からの車両種別分類を向上させることを目的としており、局所的およびグローバルな特徴抽出が強化されているため、ViT や PoolFormer などのベースラインと比較して最大10%高い精度を達成する。特に濃い霧の条件下で優れたロバスト性を示す。

ABSTRACT

Accurate vehicle type classification serves a significant role in the intelligent transportation system. It is critical for ruler to understand the road conditions and usually contributive for the traffic light control system to response correspondingly to alleviate traffic congestion. New technologies and comprehensive data sources, such as aerial photos and remote sensing data, provide richer and high-dimensional information. Also, due to the rapid development of deep neural network technology, image based vehicle classification methods can better extract underlying objective features when processing data. Recently, several deep learning models have been proposed to solve the problem. However, traditional pure convolutional based approaches have constraints on global information extraction, and the complex environment, such as bad weather, seriously limits the recognition capability. To improve the vehicle type classification capability under complex environment, this study proposes a novel Densely Connected Convolutional Transformer in Transformer Neural Network (Dense-TNT) framework for the vehicle type classification by stacking Densely Connected Convolutional Network (DenseNet) and Transformer in Transformer (TNT) layers. Three-region vehicle data and four different weather conditions are deployed for recognition capability evaluation. Experimental findings validate the recognition ability of our proposed vehicle classification model with little decay, even under the heavy foggy weather condition.

研究の動機と目的

• 濃い霧やはっきりしない大気状態などの悪天候条件下における衛星画像からの正確な車両種別分類の課題に対処すること。
• 従来の畳み込みネットワークがグローバルな文脈を捉えることの制限と、ビジョントランスフォーマーが画像品質の低下に敏感であるという点を克服すること。
• DenseNetによる局所的特徴学習とTNTによるグローバルアテンション機構を効果的に統合することで、よりロバストな分類性能を実現する深層学習フレームワークの開発。
• 多様な地理的地域と複数の天候条件（模擬的な軽い、中程度、重い霧）を含む、広域の衛星画像データセットを用いてモデルの性能を検証すること。
• エンドツーエンドの訓練が、画像品質が著しく劣化している状況でも優れた分類精度をもたらすことを実証すること。

提案手法

• 局所的特徴抽出にDenseNetブロックを、グローバルな文脈モデリングにTransformer-in-Transformer（TNT）モジュールを統合したハイブリッドニューラルアーキテクチャ、Dense-TNTを提案する。
• 二本のブランチ構造を採用：第一ブランチはDenseNetを用いて局所的なパッチを処理し、微細な空間的特徴を捉える。第二ブランチはTNTを用いてパッチ間の長距離依存関係をモデル化する。
• 両ブランチからの表現を連結または要素ごとの和集合により特徴統合し、最終的な分類に備える。
• データオーグメンテーションと正規化を施したマルチリージョン衛星データセット上でクロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 物理ベースの大気散乱モデルを用いて、軽い（fog=0.08）、中程度の（fog=0.16）、重い（fog=0.24）の3段階の劣化状態を模擬的に生成する。
• AdamWを最適化手法とし、初期学習率の最大値を2e-3に設定し、RTX 3060 GPU上で50エポックにわたりバッチサイズを学習データサイズの1%に設定して訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドなDenseNet-TNTアーキテクチャは、低品質な衛星画像における車両種別分類において、標準的なビジョントランスフォーマーや畳み込みネットワークを上回ることができるか？
• RQ2 提案されたDense-TNTモデルは、霧などの大気劣化の程度が異なる条件下で、どのように性能を示すか？
• RQ3 局所的（DenseNet）とグローバル的（TNT）な特徴学習の統合が、悪天候条件下でのロバスト性をどの程度向上させるか？
• RQ4 異なる車両の分布や都市構造を持つ多様な地理的地域においても、モデルは高い精度を維持できるか？
• RQ5 霧の条件下で、精度、適合率、再現率、F1スコアといった複数の評価指標において、Dense-TNTの性能向上は一貫しているか？

主な発見

• 重い霧（fog=0.24）条件下で、Dense-TNT s24はF1スコア0.8787を達成し、同じ条件下でのViT l12（F1=0.8471）およびPoolFormer s24（F1=0.8635）を上回った。
• 重い霧条件下では、Dense-TNT s24はベースラインモデルと比較して5〜10%の精度向上を示し、F1スコアと再現率の向上が最も顕著であった。
• 通常条件では、高い適合率（0.8240）と再現率（0.9215）を維持しており、優れた一般化性能とロバスト性を示している。
• 重い霧の状況下でも、Dense-TNT s24は0.8712の精度を維持しており、他のモデルと比較して性能の低下が最小限に抑えられていることを示している。
• F1スコアのヒストограм（図8）は、Dense-TNTが全霧レベルにおいて一貫してすべてのベースラインを上回っていることを確認しており、特に重い霧の条件下で最大の差を示している。
• Dense-TNT s12もViT l2およびPoolFormer s12を上回る優れた性能を示しており、小型モデルバージョンにおいてもスケーラビリティと有効性が確認された。