[論文レビュー] Learning Deconvolution Network for Semantic Segmentation

Hyeonwoo Noh, Seunghoon Hong+1 more|arXiv (Cornell University)|May 17, 2015

Advanced Neural Network Applications参考文献 25被引用数 612

ひとこと要約

本稿では、事前学習済みのVGG-16ネットワークの特徴階層を逆方向に処理することで、密な高解像度のセマンティックセグメンテーションマスクを再構築するためのデコンボリューションネットワークを提案する。オブジェクト候補にこの訓練済みネットワークを適用し、結果を統合することで、完全畳み込みネットワーク（FCN）のスケール制限を克服し、外部データを用いないPASCAL VOC 2012で最先端の性能（mIoU 72.5%）を達成した。さらにFCN-8sとのアンサンブルにより、さらなる性能向上が得られた。

ABSTRACT

We propose a novel semantic segmentation algorithm by learning a deconvolution network. We learn the network on top of the convolutional layers adopted from VGG 16-layer net. The deconvolution network is composed of deconvolution and unpooling layers, which identify pixel-wise class labels and predict segmentation masks. We apply the trained network to each proposal in an input image, and construct the final semantic segmentation map by combining the results from all proposals in a simple manner. The proposed algorithm mitigates the limitations of the existing methods based on fully convolutional networks by integrating deep deconvolution network and proposal-wise prediction; our segmentation method typically identifies detailed structures and handles objects in multiple scales naturally. Our network demonstrates outstanding performance in PASCAL VOC 2012 dataset, and we achieve the best accuracy (72.5%) among the methods trained with no external data through ensemble with the fully convolutional network.

研究の動機と目的

• 完全畳み込みネットワーク（FCN）ベースのセマンティックセグメンテーションにおけるスケール不変性と粗い特徴表現の問題に対処すること。
• デコンボリューションおよびアンプーリング層を備えた多層デコンボリューションネットワークを学習することで、細粒度のオブジェクト詳細の回復を向上させること。
• オブジェクト候補上でのインスタンスごとの予測を用いることで、FCNの固定受容 field の制限を克服すること。
• PASCAL VOC 2012データセットとモデルアンサンブルのみを用いて、PASCAL VOC 2012で最先端の性能を達成すること。

提案手法

• VGG-16の特徴量の上に深層デコンボリューションネットワークを訓練し、デコンボリューション、アンプーリング、ReLU層を用いて特徴マップを段階的にアップサンプリングする。
• 教師あり学習を用いてエンドツーエンドに訓練し、正解のセグメンテーションマスクをターゲットとする。
• 入力画像からオブジェクト候補を抽出し、それぞれをデコンボリューションネットワークに入力してインスタンスごとのセグメンテーションマスクを生成する。
• すべての候補からの予測を、単純で微分不能な統合戦略を用いて最終的なセグメンテーションマップを構築する。
• FCN-8sとのモデルアンサンブルを適用し、両アーキテクチャの相補的な強みを活用する。
• ACRFは出力の微調整のためのオプションとして適用可能だが、定量的改善はわずかにしか得られない。

実験結果

リサーチクエスチョン

• RQ1 FCNにおける双線形補間と比較して、学習されたデコンボリューションネットワークは、より効果的に詳細な高解像度のセグメンテーションマスクを再構築できるか？
• RQ2 オブジェクト候補上でのインスタンスごとの予測は、セマンティックセグメンテーションにおけるスケール関連の誤分類や断片化を緩和できるか？
• RQ3 PASCAL VOC 2012にのみ学習させたデコンボリューションネットワークが、外部データを一切用いずに最先端の性能を達成できるか？
• RQ4 提案されたデコンボリューションネットワークとFCN-8sの相補的特性は、アンサンブル化することで性能向上にどのように寄与するか？

主な発見

• 提案されたデコンボリューションネットワークは、PASCAL VOC 2012の検証セットで72.5%の平均交差率（mIoU）を達成し、外部データを用いない手法の中で最高の結果であった。
• デコンボリューションネットワークとFCN-8sをアンサンブルすることで性能がさらに向上し、両モデルの誤った予測を是正し、優れた結果をもたらした。
• 本手法は細かいオブジェクト構造の回復に効果的であり、特に小さなまたは断片化されたオブジェクトに対して、FCNベースの手法よりも優れた性能を示した。
• CRFの微調整はノイズを低減するが、定量的指標での向上はわずかにとどまり、デコンボリューションネットワークがすでに高品質な出力を生成していることを示している。
• ネットワークは誤って位置がずれたまたは背景の候補に対しても頑健であるが、そのようなケースではたびたびノイズの多い予測を出力することがある。
• アーキテクチャの段階的なデコンボリューションとアンプーリング処理により、粗いものから細かいものへのオブジェクト形状の再構築が可能となり、局所化精度が向上した。