[論文レビュー] The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation

Simon Jégou, Michal Drozdzal+3 more|arXiv (Cornell University)|Nov 28, 2016

Advanced Neural Network Applications被引用数 10

ひとこと要約

この論文では、セマンティックセグメンテーション向けに拡張された、完全畳み込み型で完全に結合されたU-Netに類似したアーキテクチャ、FC-DenseNetを紹介する。ダウンサンプリングおよびアップサンプリング経路にスケップ接続を備えたデュアルブロックを適用し、各解像度でアップサンプリングを最後のデュアルブロックに限定することで、1000万未塔のパラメータで顕著に少ない数で、後処理や事前学習を必要とせずにCamVidおよびGatechで最先端の性能を達成した。

ABSTRACT

State-of-the-art approaches for semantic image segmentation are built on Convolutional Neural Networks (CNNs). The typical segmentation architecture is composed of (a) a downsampling path responsible for extracting coarse semantic features, followed by (b) an upsampling path trained to recover the input image resolution at the output of the model and, optionally, (c) a post-processing module (e.g. Conditional Random Fields) to refine the model predictions. Recently, a new CNN architecture, Densely Connected Convolutional Networks (DenseNets), has shown excellent results on image classification tasks. The idea of DenseNets is based on the observation that if each layer is directly connected to every other layer in a feed-forward fashion then the network will be more accurate and easier to train. In this paper, we extend DenseNets to deal with the problem of semantic segmentation. We achieve state-of-the-art results on urban scene benchmark datasets such as CamVid and Gatech, without any further post-processing module nor pretraining. Moreover, due to smart construction of the model, our approach has much less parameters than currently published best entries for these datasets. Code to reproduce the experiments is available here : https://github.com/SimJeg/FC-DenseNet/blob/master/train.py

研究の動機と目的

• 後処理や事前学習に依存せずに、DenseNetsを完全畳み込み型ネットワークに拡張し、セマンティックセグメンテーションに適用すること。
• DenseNetで全特徴マップを単純にアップサンプリングする場合の計算上の非現実性を解消するため、各解像度で最後のデュアルブロックにのみアップサンプリングを制限すること。
• 密接な接続とスケップ接続による特徴再利用およびマルチスケール監視を活用することで、最小限のパラメータで高い性能を達成すること。
• 完全畳み込み型DenseNetsが都市風景セグメンテーションベンチマークで、既存の最先端モデルを上回ることを実証すること。

提案手法

• ダウンサンプリング経路では、特徴マップを反復的に連結するデュアルブロックを用い、特徴の再利用と暗黙的な深層監視を可能にする。
• 特徴マップの数の指数的増加を防ぐために、各解像度で最後のデュアルブロックからのみアップサンプリングを行うカスタムアップサンプリング経路を設計した。
• ダウンサンプリング経路とアップサンプリング経路の対応する層間にスケップ接続を設け、細粒度の空間的詳細を保持する。
• 標準的な交差エントロピー損失とソフトマックス出力に基づき、エンドツーエンドで学習を行う。
• 特徴マップの次元を制御し、計算コストを低減するために、遷移層（ダウン/アップ）を用いる。
• 最終的なアーキテクチャは、構成に応じて56～103層の深層完全畳み込みネットワークであり、例えばFC-DenseNet103などと呼ばれる。

実験結果

リサーチクエスチョン

• RQ1 DenseNetの密接な接続と特徴再利用が、完全畳み込み型セマンティックセグメンテーションネットワークに効果的に拡張可能か？
• RQ2 完全畳み込み型DenseNetアーキテクチャは、都市風景データセットにおいて、後処理や事前学習なしに最先端の性能を達成できるか？
• RQ3 DenseNetで全特徴マップをアップサンプリングする際の計算コストは、性能を損なわずに対処可能か？
• RQ4 FC-DenseNetのパラメータ効率は、FCN、U-Net、またはDeepLabなどの既存の完全畳み込みモデルと比較してどうか？
• RQ5 2次元畳み込みのみを用いても、動画セグメンテーションタスクに十分な汎化性能を示せるか？

主な発見

• FC-DenseNet103は、CamVidデータセットでmIoU 66.9%を達成し、後処理や事前学習なしに、以前の最先端モデルを上回った。
• CamVidでは91.5%のグローバル精度を達成し、Dilation8 (+FSO) が達成した88.3%を顕著に上回った。
• Gatechデータセットでは、79.4%のグローバル精度を達成し、2次元畳み込みモデルで過去のSOTAを23.7%上回り、3次元時空間モデルよりも3.4%高い性能を示した。
• モデルはたった940万パラメータで、Dilation8 (+FSO) が使用した1億4080万パラメータと比較して約10倍の削減を達成した。
• 動画セグメンテーションにおいても、2次元畳み込みのみで強力な汎化性能を示し、時間的情報を用いた3次元モデルを上回った。
• アブレーションスタディにより、追加の監視ヘッドがなくてもモデルの性能が安定しており、密接な接続パターンによる暗黙の深層監視が有効であることが確認された。