[論文レビュー] SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks

Serdar Erişen|arXiv (Cornell University)|Jan 28, 2024

Advanced Neural Network Applications被引用数 6

ひとこと要約

SERNet-Former は Efficient-ResNet、注意機能を強化するゲート/モジュール、および注意融合ネットワークを備えたエンコーダ–デコーダアーキテクチャを提案し、グローバル/ローカル文脈を効率的に融合して、CamVidおよびCityscapesの検証データにおいて最先端のmean IoUを達成します。

ABSTRACT

Improving the efficiency of state-of-the-art methods in semantic segmentation requires overcoming the increasing computational cost as well as issues such as fusing semantic information from global and local contexts. Based on the recent success and problems that convolutional neural networks (CNNs) encounter in semantic segmentation, this research proposes an encoder-decoder architecture with a unique efficient residual network, Efficient-ResNet. Attention-boosting gates (AbGs) and attention-boosting modules (AbMs) are deployed by aiming to fuse the equivariant and feature-based semantic information with the equivalent sizes of the output of global context of the efficient residual network in the encoder. Respectively, the decoder network is developed with the additional attention-fusion networks (AfNs) inspired by AbM. AfNs are designed to improve the efficiency in the one-to-one conversion of the semantic information by deploying additional convolution layers in the decoder part. Our network is tested on the challenging CamVid and Cityscapes datasets, and the proposed methods reveal significant improvements on the residual networks. To the best of our knowledge, the developed network, SERNet-Former, achieves state-of-the-art results (84.62 % mean IoU) on CamVid dataset and challenging results (87.35 % mean IoU) on Cityscapes validation dataset.

研究の動機と目的

• 高精度を維持しつつ、セマンティックセグメンテーションの効率を向上させる。
• エンコーダ–デコーダフレームワーク内で、注意機能を強化するメカニズムを用いてグローバルおよびローカル文脈を統合する。
• デコーダの効率を注意融合ネットワークで向上させ、1対1の意味情報マッピングを改善する。

提案手法

• Efficient-ResNetと名付けられたエンコーダ–デコーダアーキテクチャを backboneとして提案する。
• 等方性のある情報と特徴ベースのセマンティック情報を融合するために、注意機能を強化するゲート（AbGs）と注意機能を強化するモジュール（AbMs）を導入する。
• デコーダに注意融合ネットワーク（AfNs）を開発し、意味情報変換の効率を向上させる。
• AfNベースの融合をサポートするために、デコーダに追加の畳み込み層を利用する。
• CamVidとCityscapesデータセットで評価し、報告されたmean IoUの向上を示す。

実験結果

リサーチクエスチョン

• RQ1 過度な計算を伴うことなく、効率的な残差バックボーンと注意機能を強化するコンポーネントを組み合わせることで、セマンティックセグメンテーションの性能を向上させることができるか？
• RQ2 AbGsとAbMsは、エンコーダ–デコーダ内でグローバル/文脈的特徴と局所特徴の融合にどのように寄与するか？
• RQ3 デコーダのAfNは、1対1の意味情報変換の効率と精度を向上させるか？
• RQ4 標準ベンチマークであるCamVidとCityscapesにおける性能向上はどの程度か？

主な発見

データセット	平均 IoU (%)
CamVid	84.62
Cityscapes validation	87.35

• CamVidで84.62%のmean IoUを達成。
• Cityscapes検証データで87.35%のmean IoUを達成。
• ベースライン残差ネットワークに対して顕著な改善を示す。
• マルチスケールの文脈情報の融合における注意機能ゲート/モジュールの有効性を示す。
• デコーダ側の注意融合ネットワークが効率的な意味情報マッピングを強化することを確認する。