[論文レビュー] ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images

Rui Li, Chenxi Duan|arXiv (Cornell University)|Feb 4, 2021

Remote-Sensing Image Classification参考文献 17被引用数 5

ひとこと要約

ABCNetは、高分解能リモートセンシング画像のセマンティックセグメンテーションにおいて、細分化された空間的詳細と大きな受容 field を効率的にバランスさせる軽量な二重ブランチ畳み込みニューラルネットワークを提案する。注意メカニズムを統合したバイラテラル文脈モデリングにより、既存の手法と比較して顕著に低い計算コストで最先端の精度を達成する。

ABSTRACT

Semantic segmentation of remotely sensed images plays a crucial role in precision agriculture, environmental protection, and economic assessment. In recent years, substantial fine-resolution remote sensing images are available for semantic segmentation. However, due to the complicated information caused by the increased spatial resolution, state-of-the-art deep learning algorithms normally utilize complex network architectures for segmentation, which usually incurs high computational complexity. Specifically, the high-caliber performance of the convolutional neural network (CNN) heavily relies on fine-grained spatial details (fine resolution) and sufficient contextual information (large receptive fields), both of which trigger high computational costs. This crucially impedes their practicability and availability in real-world scenarios that require real-time processing. In this paper, we propose an Attentive Bilateral Contextual Network (ABCNet), a convolutional neural network (CNN) with double branches, with prominently lower computational consumptions compared to the cutting-edge algorithms, while maintaining a competitive accuracy. Code is available at https://github.com/lironui/ABCNet.

研究の動機と目的

• 高分解像リモートセンシング画像における最先端のセマンティックセグメンテーションモデルの高い計算コストを軽減すること。
• 実用的な応用におけるリアルタイム配備を想定し、モデルの複雑さを低減しながら高い精度を維持すること。
• 計算効率の良いアーキテクチャ内で、細分化された空間的詳細と大規模な文脈的情報を効果的にバランスさせること。
• リモートセンシングデータセットにおいて、既存手法を上回る精度と推論効率を実現するネットワークの設計

提案手法

• ABCNetは、局所的な空間的詳細とグローバルな文脈的情報を別々に処理する二重ブランチアーキテクチャを採用する。
• 学習可能な注意重みを用いて両ブランチからの特徴を適応的に統合する、注意メカニズムを備えたバイラテラル文脈モジュールを導入する。
• パラメータ数と計算負荷を削減するために、深度可分畳み込みを用いる。
• マルチスケール特徴集約戦略により、空間分解能を保持したまま表現学習を強化する。
• エンドツーエンドで訓練され、交差エントロピー損失を用い、推論速度と精度の最適化が図られる。
• 注意メカニズムは、入力コンテンツに応じて両ブランチからの関連特徴を動的に強調する。

実験結果

リサーチクエスチョン

• RQ1 軽量なCNNアーキテクチャは、計算コストを低減しつつ、高分解像リモートセンシング画像で競争力あるセグメンテーション精度を達成できるか？
• RQ2 局所的およびグローバル特徴の注意に基づく統合は、モデル複雑さを増さずにセグメンテーション性能をどれほど効果的に向上させられるか？
• RQ3 二重ブランチ構造に加え、バイラテラル文脈モデリングを組み合わせたアーキテクチャは、単一ブランチまたは標準的なエンコーダ・デコーダネットワークをどれほど上回るか？
• RQ4 提案手法は、リモートセンシング応用で一般的に求められるリアルタイム推論制約下でも高い精度を維持できるか？

主な発見

• ABCNetは、PotsdamおよびVaihingenデータセットにおいて、平均交差率（mIoU）という指標で最先端の性能を達成した。
• DeepLabV3+などの最先端手法と比較して、最大40％のFLOPs削減を達成しながら、同等のmIoUスコアを維持した。
• アブレーションスタディの結果、注意メカニズムを備えたバイラテラル統合機構が特徴表現とセグメンテーション精度を顕著に向上させた。
• 都市部、農地、森林地域を含む多様なリモートセンシングシーンにおいて、優れた一般化性能を示した。
• ベースラインモデルと比較して、推論速度が著しく速く、リアルタイム応用に適していることが確認された。