[論文レビュー] Holistically-Nested Edge Detection

Saining Xie, Zhuowen Tu|arXiv (Cornell University)|Apr 24, 2015

Advanced Neural Network Applications参考文献 36被引用数 308

ひとこと要約

Holistically-Nested Edge Detection (HED) は、階層的で多スケールの特徴を学習するための完全畳み込みニューラルネットワークと深く監視された補助出力を持つ深層学習ベースのエッジ検出フレームワークであり、正確な画像間エッジ予測を実現する。GPU上での1枚あたり0.4秒の推論速度を達成し、BSD500（ODS Fスコア：0.790）およびNYU Depth（0.746）で最先端の性能を発揮し、従来のCNNベースの手法に比べて精度と効率の両面で顕著に優れている。

ABSTRACT

We develop a new edge detection algorithm that tackles two important issues in this long-standing vision problem: (1) holistic image training and prediction; and (2) multi-scale and multi-level feature learning. Our proposed method, holistically-nested edge detection (HED), performs image-to-image prediction by means of a deep learning model that leverages fully convolutional neural networks and deeply-supervised nets. HED automatically learns rich hierarchical representations (guided by deep supervision on side responses) that are important in order to approach the human ability resolve the challenging ambiguity in edge and object boundary detection. We significantly advance the state-of-the-art on the BSD500 dataset (ODS F-score of .782) and the NYU Depth dataset (ODS F-score of .746), and do so with an improved speed (0.4 second per image) that is orders of magnitude faster than some recent CNN-based edge detection algorithms.

研究の動機と目的

• 自然画像におけるエッジおよびオブジェクト境界検出という長年の課題に、豊富で階層的な視覚的表現を学習することで対処すること。
• 従来のCNNベースのエッジ検出手法がしばしば高い推論時間や最適でない精度を抱える問題を改善し、性能と速度の両面で向上させること。
• パッチベースやマルチステージ処理を回避する完全畳み込みネットワークを用いて、包括的で画像間予測を可能にすること。
• 深く監視された補助出力を通じて多スケール・マルチレベルの特徴学習を活用し、エッジの局所化と一貫性を向上させること。
• RGB入力と組み合わせた深さ符号化されたHHA特徴（深度エンコード済み）がエッジ検出にどのように寄与するかを実証すること。

提案手法

• HED は、VGG-16ネットワークを模倣した完全畳み込みニューラルネットワーク（FCN）アーキテクチャを採用し、エンド・ツー・エンドのエッジ検出に最適化されている。
• 複数の畳み込み層（conv2、conv3、conv4、conv5）に深く監視された補助出力を統合することで、特徴学習のガイドと勾配の流れの改善が図られている。
• 各補助出力は粗いエッジマップを出力し、最終的な予測は学習可能な融合層を用いてこれらの応答を統合することで得られる。
• すべての補助出力と最終的な融合層からの監視を組み合わせたマルチタスク損失関数を用いて、エンド・ツー・エンドで学習されている。
• 深さ強化検出のため、HHA特徴（水平視差、地面からの高さ、表面法線の角度）を用いて深さ情報を符号化し、RGB入力と並列で処理されている。
• 推論時、RGBとHHAの予測の平均値が使用され、最終的なエッジマップが生成され、より高い耐障害性と精度が達成されている。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みで深く監視されたネットワークアーキテクチャは、高い推論速度を維持しながら最先端のエッジ検出性能を達成できるか？
• RQ2 補助監視による多スケール・マルチレベル特徴学習は、単一スケールまたは非監視アプローチと比較して、エッジの局所化と一貫性をどのように向上させるか？
• RQ3 HHA特徴（手作業で作成された深さ特徴）をCNNベースのフレームワークにRGB特徴と統合することで、エッジ検出性能はどの程度向上するか？
• RQ4 包括的で画像全体の監視を用いたエンド・ツー・エンド学習は、パッチベースやマルチステージ手法と比較して、一般化性能やエッジの一貫性にどのように寄与するか？
• RQ5 融合層による多スケール応答の統合は、後期融合や初期融合戦略と比較して、性能と耐障害性の面でどのように異なるか？

主な発見

• HED は BSDS500 データセットで ODS Fスコア 0.790 を達成し、従来の最先端手法に比べ顕著な向上を示している。
• NYU Depth データセットでは ODS Fスコア 0.746 を達成し、深さ認識エッジ検出への強力な一般化性能を示している。
• GPU上では 2.5 FPS（HHA融合時1 FPS）、CPU上では1枚あたり12秒の速度で動作し、リアルタイム応用に実用的である。
• RGBオンリーディテクションに比べ、HHA特徴の使用が性能向上に寄与しており、RGB-HHA統合モデルは NYU Depth で 0.746 の ODS Fスコアを達成している。
• 深く監視された学習は性能向上に顕著に寄与しており、BSDS500 では監視あり（0.790）となし（0.785）の ODS Fスコアの低下が確認された。
• RGBとHHA予測の後期統合が最高の平均精度（AP = 0.840）を達成し、初期融合や単一モodalモデルを上回っている。