[論文レビュー] Learning to Refine Object Contours with a Top-Down Fully Convolutional Encoder-Decoder Network

Yahui Liu, Jian Yao+3 more|arXiv (Cornell University)|May 12, 2017

Advanced Neural Network Applications参考文献 9被引用数 5

ひとこと要約

本稿では、スキップ接続とディープスーパービジョンを用いて段階的・トップダウンに特徴を精錬する、完全畳み込み型エンコーダ・デコーダーネットワークであるTD-CEDNを提案する。マルチスケールかつマルチレベルの特徴を、ディープスーパービジョンによってガイドされた洗練されたデコンボリューションによるアップサンプリングプロセスを通じて活用することで、BSDS500（ODS Fスコア：0.788）、PASCAL VOC2012（0.588）、NYU Depth（0.735）で最先端の性能を達成した。

ABSTRACT

We develop a novel deep contour detection algorithm with a top-down fully convolutional encoder-decoder network. Our proposed method, named TD-CEDN, solves two important issues in this low-level vision problem: (1) learning multi-scale and multi-level features; and (2) applying an effective top-down refined approach in the networks. TD-CEDN performs the pixel-wise prediction by means of leveraging features at all layers of the net. Unlike skip connections and previous encoder-decoder methods, we first learn a coarse feature map after the encoder stage in a feedforward pass, and then refine this feature map in a top-down strategy during the decoder stage utilizing features at successively lower layers. Therefore, the deconvolutional process is conducted stepwise, which is guided by Deeply-Supervision Net providing the integrated direct supervision. The above proposed technologies lead to a more precise and clearer prediction. Our proposed algorithm achieved the state-of-the-art on the BSDS500 dataset (ODS F-score of 0.788), the PASCAL VOC2012 dataset (ODS F-score of 0.588), and and the NYU Depth dataset (ODS F-score of 0.735).

研究の動機と目的

• 低レベルビジョンにおける正確なオブジェクトの輪郭検出のためのマルチスケールかつマルチレベル特徴の学習という課題に対処すること。
• 標準的なスキップ接続を超えて、デコーダー段階でトップダウンの精錬戦略を導入することで、輪郭予測の品質を向上させること。
• 構造的で段階的な方法で、より低いエンコーダ層からの特徴を統合することで、デコンボリューションによるアップサンプリングにおける特徴表現を強化すること。
• BSDS500、PASCAL VOC2012、NYU Depthを含む、輪郭検出のための標準ベンチマークデータセットで最先端の性能を達成すること。
• RGBおよび深度入力（RGB、深度）を含む多様な画像ドメインにわたって良好に一般化する、堅牢でエンドツーエンドの完全畳み込みフレームワークを提供すること。

提案手法

• 階層的特徴を抽出するために、バッチ正規化とReLU活性化関数を備えたVGG-16ベースのエンコーダ（pool5まで）を用いる。
• デコーダ段階では、段階的アップサンプリングを実行するための洗練されたモジュールが使用され、デコンボリュートド特徴と、順次低いエンコーダ層からの特徴が連結される。
• 連結された特徴マップに畳み込み層を適用し、標準的なアンプーリングやデコンボリューションに代わって、洗練された高レベル表現を学習する。
• デコーダの各サイドアウトプット層にディープスーパービジョンを適用し、複数スケールでの直接的スーパービジョンを可能にし、勾配の流れを改善する。
• 最終出力は、すべてのサイドアウトプット予測を連結することで形成され、最終的なピクセル単位の輪郭予測のためのマルチスケールかつマルチレベル特徴を統合する。
• マルチモーダル入力（例：RGBと深度）の場合、予測は平均化によって統合され、NYU Depthのような深度強化データセットでの性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み型エンコーダ・デコーダーネットワークにおいて、標準的なスキップ接続を超えてトップダウンの精錬戦略が輪郭検出性能を向上させることができるか？
• RQ2 デコーダの複数の段階にディープスーパービジョンを適用することで、輪郭検出のためのマルチスケールおよびマルチレベル特徴の学習にどのような影響を与えるか？
• RQ3 エンドツーエンドのデコンボリューションと比較して、デコンボリューション特徴の段階的・レイヤー単位の精錬が、輪郭の正確性を向上させ、ノイズを低減する程度はどの程度か？
• RQ4 提案されたネットワークは、RGBオンリーデータセット（BSDS500、PASCAL VOC2012）とRGB-D（NYU Depth）ベンチマークを含む、多様なデータセットに一般化できるか？
• RQ5 提案されたフレームワークにおいて、RGB特徴と組み合わせた深度マップの統合が、輪郭検出性能の向上に寄与するか？

主な発見

• TD-CEDNは、BSDS500データセットで最先端のODS Fスコア0.788を達成し、CEDN や HED といった先行手法を上回った。
• PASCAL VOC2012の検証セットでは、ファインチューニングを施したTD-CEDNモデルがODS Fスコア0.588を達成し、ファインチューニング後の強力な一般化性能と性能向上を示した。
• NYU Depthデータセットでは、ODS Fスコア0.735を達成し、深度強化予測がRGBオンリーモードに比べて0.017の向上を示した。
• 視覚的比較では、TD-CEDNがノイズが少なく、より正確な輪郭を生成し、特に複雑なローカルパッチにおいて優れた局在化性能を示した。
• 細かく連続したオブジェクト境界を検出する点で、HED や CEDN に比べて定量的指標および視覚的品質の両面で優れた性能を示した。
• アブレーションスタディの結果、トップダウンの精錬戦略とディープスーパービジョンが性能向上に顕著に寄与しており、洗練されたデコンボリューションモジュールが特徴精錬の鍵を握っていることが確認された。