[論文レビュー] CASENet: Deep Category-Aware Semantic Edge Detection

Zhiding Yu, Feng Chen+2 more|arXiv (Cornell University)|May 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 25

ひとこと要約

CASENetは、カテゴリ別エッジヘッド間でボトムアップレベルの特徴を共有し、マルチラベル損失を用いて統合する、新しいスイープレイヤー構造を採用したエンドツーエンドのディーブラーニングアーキテクチャを提案する。この手法は、SBDおよびCityscapesで最先端の性能を達成し、平均Fスコアおよび平均精度において、従来手法を顕著に上回っている。

ABSTRACT

Boundary and edge cues are highly beneficial in improving a wide variety of vision tasks such as semantic segmentation, object recognition, stereo, and object proposal generation. Recently, the problem of edge detection has been revisited and significant progress has been made with deep learning. While classical edge detection is a challenging binary problem in itself, the category-aware semantic edge detection by nature is an even more challenging multi-label problem. We model the problem such that each edge pixel can be associated with more than one class as they appear in contours or junctions belonging to two or more semantic classes. To this end, we propose a novel end-to-end deep semantic edge learning architecture based on ResNet and a new skip-layer architecture where category-wise edge activations at the top convolution layer share and are fused with the same set of bottom layer features. We then propose a multi-label loss function to supervise the fused activations. We show that our proposed architecture benefits this problem with better performance, and we outperform the current state-of-the-art semantic edge detection methods by a large margin on standard data sets such as SBD and Cityscapes.

研究の動機と目的

• エッジピクセルが同時に複数のオブジェクトカテゴリに属する可能性がある、マルチラベルセマンティックエッジ検出の課題に対処すること。
• セマンティッククラス間でボトムアップレベルの特徴を共有することで、カテゴリごとのエッジ活性化をモデル化し、エッジ検出の精度を向上させること。
• エッジを同時に検出し、複数のセマンティックカテゴリに割り当てる統合的なディーブラーニングフレームワークを構築すること。
• SBDやCityscapesなどの標準ベンチマークで、既存の最先端手法を上回ること。
• 正確でカテゴリ意識型のエッジのスーパービジョンを提供することで、下流のビジョンタスクにおける性能を向上させること。

提案手法

• カテゴリ固有のエッジヘッドが同じボトムアップレベルの畳み込み特徴を共有・統合するネストされたスイープレイヤー構造を提案する。
• 統合された活性化を監督するマルチラベル損失関数を導入し、各エッジピクセルが複数のセマンティッククラスに関連付けられるようにする。
• 階層的特徴を抽出するためにResNetをバックボーンネットワークとして使用し、スイープ接続によりマルチスケール特徴の統合を実現する。
• 二重ブランチ設計を採用：一方はカテゴリ固有のエッジ予測、もう一方は特徴共有。これにより特徴の利用効率が向上する。
• マルチラベル損失を用いて、ネットワークのすべてのパラメータを一括最適化するエンドツーエンドの学習を実施する。
• エッジピクセルごとに複数のカテゴリ関連性を表すために、HSVカラー符号化を用いて予測結果を可視化する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、同時に複数のセマンティックカテゴリに属するエッジを効果的に検出できるか？
• RQ2 カテゴリ固有のエッジヘッド間でボトムアップレベルの特徴を共有することで、マルチラベルセマンティックエッジ検出の性能が向上するか？
• RQ3 マルチラベル損失関数は、バイナリ損失やマルチタスク損失と比較して、より優れた学習ダイナミクスと検出精度をもたらすか？
• RQ4 SBDやCityscapesなどの標準ベンチマークにおいて、提案されたアーキテクチャは既存の最先端手法と比較してどのように性能を発揮するか？
• RQ5 重なったり接続したりするオブジェクト境界を含む複雑なシーンにおいて、モデルの一般化性能はどの程度高いか？

主な発見

• SBDベンチマークでは、CASENetが80.8%の平均Fスコアを達成し、前回の最先端手法DSNの3.5ポイント上回った。
• Cityscapesでは、CASENetが71.3%の平均Fスコアを達成し、DSNの68.5%から顕著な向上を示した。
• 人物クラスでは、CityscapesでCASENetが81.5%の平均Fスコアを達成し、DSNの77.5%を上回った。
• 船クラスでは、CityscapesでCASENetが74.6%まで平均Fスコアを向上（DSNは72.1%）。
• 接合部や重なったオブジェクト境界といった困難な領域でも、DSNよりも誤検出が少なく、優れた性能を示した。
• 定性的な結果から、特に「建物＋人物」と「道路＋歩道」のような複雑なカテゴリ組み合わせにおいて、より正確で一貫性のあるエッジマップを生成することがわかった。