[論文レビュー] Multi-scale Attention U-Net (MsAUNet): A Modified U-Net Architecture for Scene Segmentation

Soham Chattopadhyay, Hritam Basak|arXiv (Cornell University)|Sep 15, 2020

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿では、多スケール特徴抽出と学習可能なアテンションゲートを統合することで、顕著な画像領域に注目するようにすることで、シーンセグメンテーションを向上させる修正されたU-Netアーキテクチャ、Multi-scale Attention U-Net (MsAUNet) を提案する。モデルは、IoU、Dice、重み付き交差エントロピーを組み合わせたコン-pound損失関数を用いることで、収束を高速化し、Pascal VOC2012 で 79.88% の mIoU、ADE20K で 44.88% の mIoU を達成し、最先端の性能を発揮する。

ABSTRACT

Despite the growing success of Convolution neural networks (CNN) in the recent past in the task of scene segmentation, the standard models lack some of the important features that might result in sub-optimal segmentation outputs. The widely used encoder-decoder architecture extracts and uses several redundant and low-level features at different steps and different scales. Also, these networks fail to map the long-range dependencies of local features, which results in discriminative feature maps corresponding to each semantic class in the resulting segmented image. In this paper, we propose a novel multi-scale attention network for scene segmentation purposes by using the rich contextual information from an image. Different from the original UNet architecture we have used attention gates which take the features from the encoder and the output of the pyramid pool as input and produced out-put is further concatenated with the up-sampled output of the previous pyramid-pool layer and mapped to the next subsequent layer. This network can map local features with their global counterparts with improved accuracy and emphasize on discriminative image regions by focusing on relevant local features only. We also propose a compound loss function by optimizing the IoU loss and fusing Dice Loss and Weighted Cross-entropy loss with it to achieve an optimal solution at a faster convergence rate. We have evaluated our model on two standard datasets named PascalVOC2012 and ADE20k and was able to achieve mean IoU of 79.88% and 44.88% on the two datasets respectively, and compared our result with the widely known models to prove the superiority of our model over them.

研究の動機と目的

• 標準のU-Netアーキテクチャにおける冗長な低レベル特徴と長距離依存関係の不十分なモデリングによる最適でないセグメンテーションを是正すること。
• ドーナツ畳みとピラミッドプーリングを用いた多スケールの文脈的情報を統合することで、特徴表現を向上させること。
• エンコーダー特徴とグローバルコンテキストを重みづけする学習可能なアテンションゲートを導入することで、関連する局所的特徴への注目を強化すること。
• IoU、Dice、重み付き交差エントロピー損失を組み合わせたコン-pound損失関数を用いることで、学習の安定性と収束速度を向上させ、セグメンテーション精度を向上させること。
• 最先端の手法と比較して、標準ベンチマークであるPascal VOC2012およびADE20Kにおけるモデルの優位性を検証すること。

提案手法

• 特徴抽出のためのバックボーンとしてDenseNet169を用いたU-Netのエンコーダー・デコーダー構造を採用する。
• ドーナツ畳みとピラミッドプーリングを用いて多スケール特徴を抽出し、多様な受容 field を捉える。
• エンコーダーからの特徴とピラミッドプール出力の両方を動的に重みづけするアテンションゲートを導入し、顕著な領域に注目する。
• アテンションゲートの出力を、前のピラミッドプール層からのアップサンプリング特徴と連結することで、スキップ接続を精緻化する。
• IoU損失とDice損失、重み付き交差エントロピー損失を統合することで、学習安定性と収束速度を向上させるコン-pound損失関数を設計する。
• アダプティブ最適化手法（Adam、SGD、RMSProp）を用いてモデルを訓練し、学習率と最適化手法のハイパーパramータを、Pascal VOC2012 と ADE20K における広範なアブレーションスタディにより最適化する。

実験結果

リサーチクエスチョン

• RQ1 多スケールアテンション機構は、関連する局所的特徴に注目し、冗長性を低減することで、U-Netにおけるシーンセグメンテーションの特徴表現を向上させることができるか？
• RQ2 ピラミッドプールとアテンションゲートの統合は、セマンティックセグメンテーションにおける長距離依存関係のモデリングを強化するか？
• RQ3 IoU、Dice、重み付き交差エントロピー損失を組み合わせたコン-pound損失関数は、個別の損失関数と比較して、収束をより速くし、より高い mIoU を達成できるか？
• RQ4 Pascal VOC2012 や ADE20K といった標準ベンチマークにおいて、提案された MsAUNet アーキテクチャは最先端のモデルと比較して性能に優れているか？
• RQ5 セグメンテーション精度と収束速度を最大化するための、バックボーンアーキテクチャ、損失関数、最適化手法の最適な組み合わせは何か？

主な発見

• MsAUNet は、Pascal VOC2012 データセットで 79.88% の平均交差率（mIoU）を達成し、先行する最先端モデルを上回った。
• ADE20K データセットでは、mIoU が 44.88% に達し、ResNet をバックボーンとする PSPNet（43.29%） や EncNet（41.11%） よりも優れた性能を示した。
• Pascal VOC2012 ではピクセル精度が 95.96%、ADE20K では 81.41% を記録し、高いセグメンテーション精度を示した。
• コン-pound損失関数により収束が高速化され、性能が向上した。Pascal VOC2012 と ADE20K の両データセットで、学習率 1e-4 の Adam 最適化手法が最適な結果をもたらした。
• アブレーションスタディの結果、Pascal VOC2012 では学習率 1e-4、ADE20K では学習率 1e-5 の Adam が mIoU の性能を最も高めた。
• ADE20K における可視化結果から、MsAUNet は複雑でごちゃついたシーンにおいても、より鋭く正確なセグメンテーションマップを生成することがわかった。