[論文レビュー] Efficient Hybrid Transformer: Learning Global-local Context for Urban Sence Segmentation.

Libo Wang, Shenghui Fang+3 more|arXiv (Cornell University)|Sep 18, 2021

Advanced Neural Network Applications参考文献 29被引用数 4

ひとこと要約

本論文は、局所的特徴抽出にCNNベースのエンコーダを、グローバルなコンテキストモデリングにTransformerベースのデコーダを組み合わせた、リアルタイム都市シーンセグメンテーション向けの効率的ハイブリッドTransformer（EHT）を提案する。EHTは、UAVidテストセットで66.9%のmIoUを達成し、最先端の軽量モデルよりも高速な推論を実現し、効率性と精度のトレードオフにおいて優れた性能を示している。

ABSTRACT

Semantic segmentation of fine-resolution urban scene images plays a vital role in extensive practical applications, such as land cover mapping, urban change detection, environmental protection and economic assessment. Driven by rapid developments in deep learning technologies, the convolutional neural network (CNN) has dominated the semantic segmentation task for many years. Convolutional neural networks adopt hierarchical feature representation, demonstrating strong local information extraction. However, the local property of the convolution layer limits the network from capturing global context that is crucial for precise segmentation. Recently, Transformer comprise a hot topic in the computer vision domain. Transformer demonstrates the great capability of global information modelling, boosting many vision tasks, such as image classification, object detection and especially semantic segmentation. In this paper, we propose an efficient hybrid Transformer (EHT) for real-time urban scene segmentation. The EHT adopts a hybrid structure with and CNN-based encoder and a transformer-based decoder, learning global-local context with lower computation. Extensive experiments demonstrate that our EHT has faster inference speed with competitive accuracy compared with state-of-the-art lightweight models. Specifically, the proposed EHT achieves a 66.9% mIoU on the UAVid test set and outperforms other benchmark networks significantly. The code will be available soon.

研究の動機と目的

• 細分解像の都市シーンセグメンテーションにおいて、CNNがグローバルコンテキストを捉える能力に制限を受ける問題に対処すること。
• リアルタイムセグメンテーションタスクにおける純粋なTransformerの高い計算コストを克服すること。
• 都市シーン理解のため、局所的およびグローバルコンテキストを効果的に統合できる、軽量かつ高精度なモデルを設計すること。
• 既存の軽量モデルと比較して、顕著に高速な推論速度を実現しつつ、競争力のあるセグメンテーション精度を達成すること。

提案手法

• EHTは、階層的な局所特徴を抽出するためのCNNベースのエンコーダを備えたハイブリッドアーキテクチャを採用する。
• 特徴マップ全体にわたる長距離依存関係とグローバルコンテキストをモデリングするために、Transformerベースのデコーダが使用される。
• CNNエンコーダとTransformerデコーダからの特徴を統合することで、グローバル-ローカル特徴の統合が実現される。
• 都市シーンデータセット上で標準的なセグメンテーション損失関数を用いて、モデルはエンドツーエンドで訓練される。
• 推論効率を最適化するために、Transformerデコーダにおける冗長な計算を最小限に抑える設計がなされる。
• リソース制約のあるプラットフォームへのリアルタイムデプロイメントを想定したアーキテクチャ最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-Transformerアーキテクチャは、純粋なCNNと比較して、都市シーンセグメンテーションにおけるグローバルコンテキストモデリングをより効果的に行えるか？
• RQ2 提案されたEHTは、最先端の軽量モデルと比較して、計算効率とセグメンテーション精度のバランスをどのようにとっているか？
• RQ3 Transformerベースのデコーダは、リアルタイム都市セグメンテーションにおいて、高速な推論速度を維持したままmIoUをどの程度向上できるか？
• RQ4 CNNエンコーダからの局所特徴と、Transformerデコーダからのグローバルコンテキストを統合することで、複雑な都市シーンにおけるより頑健なセグメンテーションが達成できるか？

主な発見

• EHTは、UAVidテストセットで66.9%の平均交差率（mIoU）を達成し、他のベンチマークネットワークを上回っている。
• モデルは、最先端の軽量セグメンテーションモデルと比較して顕著に高速な推論速度を示している。
• ハイブリッドアーキテクチャは、局所的詳細と長距離依存関係の両方を効果的に捉えており、セグメンテーション精度の向上に寄与している。
• CNN-Transformerの組み合わせにより、計算オーバーヘッドを低減しつつ、競争力のあるパフォーマンスが実現されている。
• モデルは、細分解像の都市シーン画像において優れた一般化能力を示している。
• 提案手法は、UAVidベンチマークで高い精度を維持しながら、推論速度において新たなSOTAを樹立している。