[論文レビュー] Stacked U-Nets: A No-Frills Approach to Natural Image Segmentation

Sohil Shah, Pallabi Ghosh+2 more|arXiv (Cornell University)|Apr 27, 2018

Advanced Neural Network Applications参考文献 44被引用数 33

ひとこと要約

本論文では、複数のU-Netブロックを繰り返し統合することで、高解像度の空間的詳細を保持しながら文脈情報をグローバライズする軽量で深いアーキテクチャ、スタックドU-Net（SUNet）を提案する。PASCAL VOC 2012では、ResNet-101より4.5%高いmIoUを達成し、パラメータ数は約7倍少ない。複雑な補助モジュールの代わりに、より深いパラメータ効率の良いU-Netユニットのスタッキングを採用することで、最先端の性能を実現した。

ABSTRACT

Many imaging tasks require global information about all pixels in an image. Conventional bottom-up classification networks globalize information by decreasing resolution; features are pooled and downsampled into a single output. But for semantic segmentation and object detection tasks, a network must provide higher-resolution pixel-level outputs. To globalize information while preserving resolution, many researchers propose the inclusion of sophisticated auxiliary blocks, but these come at the cost of a considerable increase in network size and computational cost. This paper proposes stacked u-nets (SUNets), which iteratively combine features from different resolution scales while maintaining resolution. SUNets leverage the information globalization power of u-nets in a deeper network architectures that is capable of handling the complexity of natural images. SUNets perform extremely well on semantic segmentation tasks using a small number of parameters.

研究の動機と目的

• 自然画像セグメンテーションにおいて、高解像度の空間的詳細を保持すると同時に、長距離の文脈的情報を捉える課題に対処すること。
• 複雑な補助的文脈モジュールや深層分類バックボーンに依存する既存のセグメンテーションモデルの計算量およびパラメータの負担を軽減すること。
• モデルサイズや推論コストを増加させることなく、セマンティックセグメンテーションタスクの性能を向上させること。
• U-Netブロックのスタッキングが、単一のU-Netや補助ヘッドを備えた深層分類ネットワークと比較して、より優れた特徴表現をもたらすかどうかを検証すること。

提案手法

• スタックドU-Net（SUNet）は、深層アーキテクチャに複数のU-Netブロックをスタックすることで構築され、異なる解像度レベル間での繰り返し特徴統合を可能にする。
• 各U-Netブロックは、ストライド畳み込みによるエンコード（ダウンサンプリング）とデコンボリューションによるデコード（アップサンプリング）を実行し、空間解像度を保持すると同時に文脈的情報を統合する。
• 拡張畳み込みやマルチグリッド戦略を避ける代わりに、グリッドアーチファクトを低減するためのストライド畳み込みに続くデグリッド化レイヤーを採用する。
• エンコーダーとデコーダーのパス間のスキップ接続からの特徴マップを、各レベルでチャネル方向に連結することで、空間的詳細の保持と表現の強化を実現する。
• 推論時には、マルチスケール推論を用いた標準的な交差エントロピー損失で学習を行うことで、モデルのロバスト性を向上させる。
• SUNet-7-128というバリエーションは、7つのスタックドU-Netブロックと1層あたり128フィルタを用い、パラメータ数を抑えながら高い性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 スタックドU-Netブロックから構成されるより深いアーキテクチャが、標準的なU-NetやResNetベースのモデルを上回る性能を示せるか？
• RQ2 ASPP や CRF などの複雑な補助的文脈モジュールを排除しながらも、高解像度出力を維持することで、効率性と性能が向上するか？
• RQ3 軽量でパラメータ効率の良いアーキテクチャが、重い事前学習バックボーンに依存せずに、PASCAL VOC 2012で最先端のmIoUを達成できる程度の性能を発揮できるか？
• RQ4 U-Netブロックのスタッキングは、単一のU-Netや深層分類ネットワークと比較して、特徴表現や一般化性能にどのように影響を与えるか？

主な発見

• SUNet-7-128は、Cityscapesテストセットで84.3%のmIoUを達成し、RefineNet-ResNet152 や DeepLabv2+CRF といった最先端モデルを上回った。
• PASCAL VOC 2012では、SUNet-7-128がテストセットで83.34%のmIoUを達成し、ResNet-101を4.5%上回ったが、パラメータ数は約7倍少ない。
• モデルはわずか250万パラメータで高い性能を発揮し、PSPNet（3000万パラメータ多い）や他の補助モジュールベースのモデルと比較して、顕著にパラメータ数を削減した。
• 定性的な結果では、特にデグリッド化レイヤーを用いることで、グリッドアーチファクトが低減され、整合的でシャープなセグメンテーションマップが得られた。
• PASCAL VOC 2012およびCityscapesベンチマークでの強力な性能から、SUNetsが多様な自然画像の分布に良好に一般化できていることが示された。
• アブレーションスタディの結果、特徴マップの整合性とセグメンテーション品質の観点から、拡張畳み込みよりもストライド畳み込みにデグリッド化レイヤーを組み合わせたアプローチが優れていることが確認された。