[論文レビュー] Learning to predict crisp boundaries

Ruoxi Deng, Chunhua Shen+3 more|arXiv (Cornell University)|Jul 26, 2018

Anomaly Detection Techniques and Applications参考文献 1被引用数 13

ひとこと要約

本稿では、後処理を経ずに深層特徴から直接クリアで1ピクセル幅の境界を予測できる、新しい損失関数とボトムアップ/トップダウンアーキテクチャを備えたエンドツーエンドの完全畳み込みニューラルネットワークを提案する。本手法は、境界検出の学習データにおけるクラスの不均衡に対処することで、エッジのシャープネスと正確性を著しく向上させ、BSDS500（ODS Fスコア：0.815）およびNYU Depth（ODS Fスコア：0.762）で最先端の性能を達成した。

ABSTRACT

Recent methods for boundary or edge detection built on Deep Convolutional Neural Networks (CNNs) typically suffer from the issue of predicted edges being thick and need post-processing to obtain crisp boundaries. Highly imbalanced categories of boundary versus background in training data is one of main reasons for the above problem. In this work, the aim is to make CNNs produce sharp boundaries without post-processing. We introduce a novel loss for boundary detection, which is very effective for classifying imbalanced data and allows CNNs to produce crisp boundaries. Moreover, we propose an end-to-end network which adopts the bottom-up/top-down architecture to tackle the task. The proposed network effectively leverages hierarchical features and produces pixel-accurate boundary mask, which is critical to reconstruct the edge map. Our experiments illustrate that directly making crisp prediction not only promotes the visual results of CNNs, but also achieves better results against the state-of-the-art on the BSDS500 dataset (ODS F-score of .815) and the NYU Depth dataset (ODS F-score of .762).

研究の動機と目的

• CNNベースのエッジ検出で、後処理を経ても予測された境界が太くぼやけるという一般的な問題に対処すること。
• トレーニング中にシャープで1ピクセル幅の境界を直接学習することで、エッジの細分化処理の必要性を排除すること。
• 境界ピクセルとバックグラウンドピクセルの間で著しく不均衡なクラスを効果的に処理することで、境界検出ベンチマークにおける性能を向上させること。
• 階層的特徴を用いてピクセル単位の正確な境界マスクを生成する、高速で正確でエンドツーエンドのネットワークを開発すること。

提案手法

• クラスの不均衡に特化した新しい損失関数を提案し、陽性（境界）と陰性（バックグラウンド）のサンプルが著しく不均衡な状況に対処すること。
• マルチスケールの階層的特徴を効果的に活用するため、ボトムアップ/トップダウンアーキテクチャを備えた完全畳み込みネットワークを採用すること。
• 異なるレベルの特徴を統合するためのスキップ接続を用い、空間的な精度を向上させ、ピクセル単位の境界検出を可能にすること。
• 提案された損失関数を用いてエンドツーエンドでネットワークを学習し、後処理なしにクリアな境界予測を直接最適化すること。
• 一般化性能と境界のシャープネスを向上させるシンプルだが効果的なトレーニング戦略を導入すること。
• RGBおよびHHA特徴（深度を用いて）の両方でモデルを評価し、平均化による予測の融合で性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 なぜCNNベースのエッジ検出器は、後処理を経ても太くぼやけた境界を出力してしまうのか？
• RQ2 適切に設計された損失関数のみで境界のシャープネスを向上させ、後処理の必要性を排除できるのか？
• RQ3 視覚的品質とFスコアなどの定量的指標において、本手法は最先端のエッジ検出器と比べてどのように差をつけるか？
• RQ4 高い正確性を維持しながら、本手法はどの程度リアルタイム推論を達成できるか？
• RQ5 アーキテクチャの複雑さを増さずに、BSDS500 や NYU Depth といった異なるデータセットに十分に一般化できるか？

主な発見

• 提案手法は、BSDS500データセットでSOTAとなるODS Fスコア0.815を達成した。
• NYU Depthデータセットでは、ODS Fスコア0.762を達成し、新たなSOTAベンチマークを樹立した。
• GTX 980 GPU上で30 FPSで実行可能であり、リアルタイム推論の能力を示した。
• 後処理なしでも、本手法の非NMS性能（ODS Fスコア：0.693）は、同条件でのCED（ODS Fスコア：0.655）を上回った。
• 提案された損失関数の使用により、HED や RCF との視覚的比較で境界のシャープネスが著しく向上したことが確認された。
• 本手法はRGBデータのみを用いても強力な性能を発揮し、HHA特徴を追加することでさらに向上し、NYU Depthで0.762のODS Fスコアを達成した。