[論文レビュー] Laplacian Reconstruction and Refinement for Semantic Segmentation.

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|May 8, 2016

Advanced Neural Network Applications被引用数 33

ひとこと要約

この論文では、高分解能のスキップ接続を活用して粗い低分解能特徴マップを精緻化するラプラシアン風の再構成ネットワークを提案する。高次元特徴におけるサブピクセルディティールを活用し、多スケールの精緻化によって境界を段階的に再構築することで、複雑なCRFや検出ヘッドを用いずにPASCAL VOCで最先端の性能を達成した。

ABSTRACT

CNN architectures have terrific recognition performance but rely on spatial pooling which makes it difficult to adapt them to tasks that require dense pixel-accurate labeling. This paper makes two contributions: (1) We demonstrate that while the apparent spatial resolution of convolutional feature maps is low, the high-dimensional feature representation contains significant sub-pixel localization information. (2) We describe a multi-resolution reconstruction architecture, akin to a Laplacian pyramid, that uses skip connections from higher resolution feature maps to successively refine segment boundaries reconstructed from lower resolution maps. This approach yields state-of-the-art semantic segmentation results on PASCAL without resorting to more complex CRF or detection driven architectures.

研究の動機と目的

• 空間プーリングによる解像度低下によって制限される畳み込みニューラルネットワーク（CNN）における、画素単位のラベル付けの課題に対処する。
• 低く見える空間解像度であるにもかかわらず、高次元特徴表現に埋め込まれたサブピクセル局所化情報を活用する。
• ラプラシアンピラミッドにインspiredされた多スケール再構成フレームワークを開発し、粗いスケールから細かいスケールへ段階的にセグメンテーション境界を精緻化する。
• 複雑な後処理（例：CRF）や検出ベースのアーキテクチャに依存せずに、PASCAL VOCで最先端の性能を達成する。

提案手法

• 各レベルが下位のレベルからのセグメンテーションマップを精緻化するように、ラプラシアンピラミッドに類似した多スケール特徴再構成パイプラインを構築する。
• 高分解能特徴マップからのスキップ接続を統合し、粗い特徴表現に細粒度の空間的詳細を注入する。
• 再構成の過程で、高分解能特徴からの高周波数境界ディテールを低分解能レベルに伝搬するために、残差接続を用いる。
• 段階的な再構成によって、より詳細な予測を繰り返し最適化するように、ネットワークをエンドツーエンドで訓練する。
• 高次元特徴には、空間解像度が低く見えるにもかかわらず、サブピクセル局所化の手がかりを含んでいるという事実を活用する。
• 多スケールの監視を用いて、低分解能特徴マップからシャープで正確なオブジェクト境界を段階的な再構成ステップで再構築する。

実験結果

リサーチクエスチョン

• RQ1 低空間解像度であるにもかかわらず、高次元CNN特徴に活用可能なサブピクセル局所化情報が含まれるか？
• RQ2 ラプラシアンピラミッドにインspiredされた多スケール再構成アーキテクチャは、セマンティックセグメンテーションの境界精度を向上させることができるか？
• RQ3 高分解能特徴からのスキップ接続を用いた反復的精緻化は、密度予測タスクにおいて標準的な完全畳み込みネットワーク（FCN）を上回る性能を発揮するか？
• RQ4 複雑なCRFや検出ベースのコンponentsを用いずに、PASCAL VOCで最先端の性能を達成できるか？

主な発見

• 高次元特徴マップには、空間解像度が低く見えるにもかかわらず、顕著なサブピクセル局所化情報が含まれている。
• 提案されたラプラシアン再構成ネットワークは、PASCAL VOCセマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• 高分解能特徴からのスキップ接続を用いた反復的精緻化によって、粗い予測を段階的に改善し、境界精度が向上した。
• 追加のCRF後処理や検出ヘッドを必要とせず、標準的なFCNベースのモデルを上回る性能を発揮した。
• 多スケール精緻化メカニズムは、段階的な再構成ステップによって細粒度のディテールを効果的に捉えることができた。