[論文レビュー] Residual Conv-Deconv Grid Network for Semantic Segmentation

Damien Fourure, Rémi Emonet+4 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jul 25, 2017

Advanced Neural Network Applications被引用数 12

ひとこと要約

この論文では、空間的詳細を保持しながら文脈的情報を捉えるために、複数の相互接続されたスレートを異なる解像度で使用する、セマンティックセグメンテーション向けの新規な残差畳み込み・逆畳み込みグリッドネットワーク、GridNetを提案する。グリッド構造を用いてスケール間で特徴マップを統合することで、ImageNetの事前学習なしに、スクラッチから訓練した場合でもCityscapesで69.45%のmIoUを達成し、いくつかのベースラインを上回る競争力のある性能を発揮する。

ABSTRACT

This paper presents GridNet, a new Convolutional Neural Network (CNN) architecture for semantic image segmentation (full scene labelling). Classical neural networks are implemented as one stream from the input to the output with subsampling operators applied in the stream in order to reduce the feature maps size and to increase the receptive field for the final prediction. However, for semantic image segmentation, where the task consists in providing a semantic class to each pixel of an image, feature maps reduction is harmful because it leads to a resolution loss in the output prediction. To tackle this problem, our GridNet follows a grid pattern allowing multiple interconnected streams to work at different resolutions. We show that our network generalizes many well known networks such as conv-deconv, residual or U-Net networks. GridNet is trained from scratch and achieves competitive results on the Cityscapes dataset.

研究の動機と目的

• セマンティックセグメンテーションにおける標準的なCNNで生じるサブサンプリングによる解像度の損失を解消すること。
• 高解像度の特徴を維持しながら、低解像度のスレートからの文脈的情報を統合するマルチストリームアーキテクチャを設計すること。
• U-Net、畳み込みニューラルネットワーク、残差ネットワークといった既存のアーキテクチャを統一的なグリッド構造内で一般化すること。
• ImageNetの事前学習に依存せずに、セマンティックセグメンテーションのベンチマークで強力な性能を達成すること。

提案手法

• GridNetは、複数の水平ストリームが異なる解像度で動作する2次元グリッド構造を採用し、畳み込みおよび逆畳み込みユニットで接続されている。
• 各ストリームは特定のスケールでの特徴マップを処理し、ダウンサンプリングおよびアップサンプリング層がグリッド内の垂直な列を形成する。
• 勾配の流れを促進し、学習の安定性を向上させるために、ストリーム内およびストリーム間で残差スキップ接続が用いられる。
• ImageNetでの事前学習なしに、標準的なバックプロパゲーションを用いてエンドツーエンドでスクラッチから訓練される。
• 異なるストリームからの特徴マップがスキップ接続を通じて統合され、細粒度の詳細と文脈的理解が組み合わされる。
• スケール間での柔軟な相互接続を可能にすることで、U-Net、畳み込みニューラルネットワーク、残差ネットワークを統合的に一般化するアーキテクチャである。

実験結果

リサーチクエスチョン

• RQ1 事前学習なしに、マルチ解像度でグリッド構造を持つCNNアーキテクチャが、標準的な完全畳み込みネットワークを上回ることができるか？
• RQ2 残差接続を通じて高解像度および低解像度のストリームを統合することで、セグメンテーションの精度にどのような影響を与えるか？
• RQ3 グリッドベースのアーキテクチャは、U-Net や ResNet といった既存のアーキテクチャをどの程度一般化できるか？
• RQ4 ストリーム数や列数を変化させた場合、性能および学習の複雑さにどのような影響があるか？

主な発見

• GridNetは、スクラッチから訓練した場合、Cityscapesの検証セットで69.45%の平均交差率（mIoU）を達成し、いくつかの完全畳み込みベースラインを上回る。
• ストリーム数を増やすことで性能が向上し、最良の結果（69.45% mIoU）は12列と7ストリーム（8, 16, 32, 64, 128, 256, 512の特徴マップ）で達成された。
• ストリーム数を増やさずに列数を増やすと性能は向上せず、学習の複雑さが増すため、列数よりもストリーム数が性能に与える影響がより重要であることが示された。
• ネットワークは良好に一般化され、ImageNetの事前学習なしに、FRRN や RefineNet といった最先端モデルと同等の結果を達成した。
• 交互にアップサンプリング／ダウンサンプリングを行う列の配置を採用した代替アーキテクチャは、わずかに低い性能（66.8% mIoU）を示し、より構造的な列レイアウトがより効果的であることが示唆された。
• GridNetは、スクラッチからの訓練でも強力な結果を達成できることを示しており、ADE20Kで事前学習を行うことで初期化を改善すればさらなる向上が期待できる。