[論文レビュー] Fast Edge Detection Using Structured Forests

Piotr Dollár, C. Lawrence Zitnick|arXiv (Cornell University)|Jun 20, 2014

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文では、局所的なエッジ構造（例えば直線や接合部）を活用することで性能を向上させる、構造的フォレストを用いた高速で高精度なエッジ検出手法を提案する。ランダム決定木フォレスト上で構造的学習問題としてエッジ検出を定式化することで、NYU Depthで7.5 FPSのリアルタイム推論を達成すると同時に、BSDS500およびNYU Depthデータセットで最先端の結果を獲得し、顕著なデータセット間一般化性能を示す。

ABSTRACT

Edge detection is a critical component of many vision systems, including object detectors and image segmentation algorithms. Patches of edges exhibit well-known forms of local structure, such as straight lines or T-junctions. In this paper we take advantage of the structure present in local image patches to learn both an accurate and computationally efficient edge detector. We formulate the problem of predicting local edge masks in a structured learning framework applied to random decision forests. Our novel approach to learning decision trees robustly maps the structured labels to a discrete space on which standard information gain measures may be evaluated. The result is an approach that obtains realtime performance that is orders of magnitude faster than many competing state-of-the-art approaches, while also achieving state-of-the-art edge detection results on the BSDS500 Segmentation dataset and NYU Depth dataset. Finally, we show the potential of our approach as a general purpose edge detector by showing our learned edge models generalize well across datasets.

研究の動機と目的

• 局所的エッジ構造を活用することで、計算コストが低く、高精度を維持するエッジ検出手法の開発。
• テクスチャや錯視的エッジを漏れなく検出できない従来の勾配ベースのエッジ検出器の限界を克服すること。
• 動画セグメンテーションやオブジェクト検出などの実用的コンピュータビジョン応用に適したリアルタイムエッジ検出の実現。
• 再トレーニングなしに多様なデータセット間で学習済みエッジモデルの一般化性能を示すこと。
• 従来の決定木フォレストの依存するエッジパターンを効果的にモデル化できる、新しい構造的学習フレームワークの導入。

提案手法

• 画像パッチから構造的局所エッジマスク（例：直線、T字接合部）を予測する問題としてエッジ検出を定式化し、ランダムフォレストを用いる。
• 木の分割における標準的な情報量の増加を評価可能とするために、構造的エッジラベルを離散空間にマッピングする新規手法を導入。
• 11チャンネルのRGBおよび深度勾配を含む、マルチスケールの強度および深度勾配を入力特徴として使用。
• ランダムフォレストを用いて各パッチのエッジラベルを予測し、画像全体にわたってそれらを統合してグローバルエッジマップを生成。
• 局所的な色および深度の手がかりを用いて、ぼんやりとしたエッジマップを精錬するためのオプションのシャープニング処理を適用。
• BSDS500およびNYU Depthデータセットでトレーニングを行い、モデルの一般化性能を評価するためにドメイン内およびドメイン外のテストを実施。

実験結果

リサーチクエスチョン

• RQ1 構造的フォレストにおける構造的学習により、直線や接合部などの局所的エッジパターンをモデル化することで、エッジ検出の精度が向上するか？
• RQ2 構造的ランダムフォレストアプローチは、最先端の手法を上回る性能を発揮しながらも、リアルタイム性能を達成できるか？
• RQ3 異なるデータセット間で、学習済みエッジモデルの一般化性能はどの程度高いか？
• RQ4 強度特徴と組み合わせた際、深度情報がエッジ検出性能にどの程度寄与するか？
• RQ5 統合的でエンドツーエンドの学習アプローチは、従来の勾配ベースまたは手作業特徴に基づく手法を上回ることができるか？

主な発見

• 提案された構造的エッジ（SE）検出器は、BSDS500データセットでODS Fスコア0.75を達成し、gPbおよび他の最先端手法を上回る最先端の性能を示した。
• NYU Depthデータセットでは、SE+SHバージョンがODS Fスコア0.65を達成し、gPb-owt-ucmおよびSilbermanらのRGBDセグメンテーション手法を顕著に上回った。
• 深度特徴の組み込み（SE-RGBD）により、精度とRecallの両方が向上し、NYU Depthでは0.65の精度で0.84のRecallを達成した。
• BSDSで学習したモデルはNYU Depthに良好に一般化され、性能低下がわずか1ポイントにとどまり、ODSスコア0.64を達成した。これは、顕著なデータセット間耐性を示している。
• NYU Depth画像において7.5 FPSで実行可能であり、高解像度入力およびマルチスケール特徴計算を伴うにもかかわらず、リアルタイム性能を達成した。
• 構造的エッジと深度ノーマル勾配を組み合わせたSE+NG+モデルは、RenとBoのSCGを含む、すべての競合手法を上回った。