[論文レビュー] RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation

Guosheng Lin, Anton Milan+2 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Neural Network Applications参考文献 41被引用数 63

ひとこと要約

RefineNetは、高レベルの意味的特徴と低レベルの空間的詳細を組み合わせるために長距離残差接続を活用するマルチパス精錬ネットワークであり、高分解能の意味的セグメンテーションを可能にする。級列されたRefineNetブロックとチェーンされた残差プーリングを用いることで、PASCAL VOC 2012で83.4%のmIoUを達成し、最先端の性能を実現した。

ABSTRACT

Recently, very deep convolutional neural networks (CNNs) have shown outstanding performance in object recognition and have also been the first choice for dense classification problems such as semantic segmentation. However, repeated subsampling operations like pooling or convolution striding in deep CNNs lead to a significant decrease in the initial image resolution. Here, we present RefineNet, a generic multi-path refinement network that explicitly exploits all the information available along the down-sampling process to enable high-resolution prediction using long-range residual connections. In this way, the deeper layers that capture high-level semantic features can be directly refined using fine-grained features from earlier convolutions. The individual components of RefineNet employ residual connections following the identity mapping mindset, which allows for effective end-to-end training. Further, we introduce chained residual pooling, which captures rich background context in an efficient manner. We carry out comprehensive experiments and set new state-of-the-art results on seven public datasets. In particular, we achieve an intersection-over-union score of 83.4 on the challenging PASCAL VOC 2012 dataset, which is the best reported result to date.

研究の動機と目的

• 繰り返しのプーリングやストライド処理によって生じる空間的詳細の損失を解消すること。
• 深層ネットワークの異なる段階からのマルチレベル特徴を効果的に統合することで、高分解像の意味的セグメンテーションを実現すること。
• デコンボリューションによるアップサンプリングや拡張畳み込みの限界を克服し、失われた低レベルの詳細を回復するか、過度な計算コストを伴わないこと。
• アイデンティティマッピングを備えた残差接続を活用することで、エンド・トゥ・エンド学習を可能にする、学習に適したアーキテクチャの開発。
• 効率的なマルチスケールプーリング機構を用いて、背景領域の文脈モデリングを向上させること。

提案手法

• 複数のエンコーダーステージからの特徴を再帰的な精錬ブロックを用いて統合するマルチパス精錬ネットワーク（RefineNet）を提案する。
• アイデンティティマッピングを備えた残差接続を採用し、長距離スキップ接続を介した効果的なバックプロパゲーションを可能にする。
• 核サイズを段階的に増加させる複数のプーリング処理を適用し、それらを残差接続と学習可能な重みを用いて統合する「チェーンされた残差プーリング」を導入する。
• 級列されたRefineNetブロックを用いて、粗い高レベル特徴をマルチスケール特徴を活用して段階的に高分解像の予測に精錬する。
• 単一、二段階、四段階の級列構成やマルチスケール入力処理をサポートする、柔軟なアーキテクチャ設計を実現する。
• 標準的なバックプロパゲーションを用いて、残差学習を活用することで学習の安定化を図り、ネットワーク全体をエンド・トゥ・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークアーキテクチャは、高レベルの意味的特徴と低レベルの空間的詳細を効果的に統合することで、高分解像の意味的セグメンテーションを向上させることができるか？
• RQ2 長距離残差接続をどのように活用すれば、精錬ベースのセグメンテーションネットワークにおける効果的なエンド・トゥ・エンド学習を実現できるか？
• RQ3 計算コストを増加させることなく、チェーンされた残差プーリングは大規模な文脈的情報を効率的に捉えることができるか？
• RQ4 級列されたRefineNetブロックは、単一路または浅い精錬アプローチと比較して、多様なデータセットにおいて一貫した性能向上をもたらすか？
• RQ5 提案されたアーキテクチャは、DeepLabなどの既存の最先端手法と比較して、ベンチマークデータセットでどの程度優れているか？

主な発見

• RefineNetは、PASCAL VOC 2012データセットで83.4%のmIoUを達成し、DeepLabを含む先行手法を上回る、新たな最先端のmIoUを記録した。
• NYUDv2データセットでは、2スケール入力の4段級列RefineNetが43.1%のmIoUを達成し、単一のRefineNet（40.3%）や2段級列バージョン（40.9%）を上回った。
• ADE20Kデータセットでは、RefineNet-Res152が40.7%のmIoUを達成し、ベースライン手法のFCN-8s（29.4%）やCascaded-DilatedNet（34.9%）を顕著に上回った。
• 4段級列RefineNetバージョンは、精度と効率のバランスが最良であり、単一または2段級列ネットワークよりも優れた性能を示した。
• チェーンされた残差プーリングは文脈モデリングを強化し、背景領域や複雑なシーン領域での性能向上に寄与した。
• モデルは多様なデータセットにわたって良好な一般化性能を示し、Cityscapes、SUN-RGBD、Person-Partsを含む7つの公的ベンチマークで最先端の結果を達成した。