[論文レビュー] Unmixing Convolutional Features for Crisp Edge Detection

Linxi Huan, Nan Xue+4 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Neural Network Applications参考文献 34被引用数 4

ひとこと要約

本稿では、トレース損失とコンテキストに配慮した融合ブロックを用いて畳み込み特徴をアンミックスすることで、深層エッジ検出における局所化精度を向上させるコンテキストに配慮したトレース戦略（CATS）を提案する。CATSは深層ネットワークにおける特徴量とサイド出力の混合を低減し、VGG16バックボーンを用いたRCFに統合した際、形態的NMSを用いないBSDS500上でのF-measureを12%向上させる。

ABSTRACT

This paper presents a context-aware tracing strategy (CATS) for crisp edge detection with deep edge detectors, based on an observation that the localization ambiguity of deep edge detectors is mainly caused by the mixing phenomenon of convolutional neural networks: feature mixing in edge classification and side mixing during fusing side predictions. The CATS consists of two modules: a novel tracing loss that performs feature unmixing by tracing boundaries for better side edge learning, and a context-aware fusion block that tackles the side mixing by aggregating the complementary merits of learned side edges. Experiments demonstrate that the proposed CATS can be integrated into modern deep edge detectors to improve localization accuracy. With the vanilla VGG16 backbone, in terms of BSDS500 dataset, our CATS improves the F-measure (ODS) of the RCF and BDCN deep edge detectors by 12% and 6% respectively when evaluating without using the morphological non-maximal suppression scheme for edge detection.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における特徴量とサイド出力の混合が原因で生じるエッジ検出の局所化の曖昧さを解消すること。
• 後処理としての形態的非最大抑制（NMS）に依存せずにエッジマップのシャープネスを向上させること。
• アーキテクチャの変更なしに標準のVGG16バックボーンを用いて高性能なエッジ検出を実現すること。
• 畳み込み特徴量とサイド予測をアンミックスすることで、より良いエッジ局所化とテクスチャの抑制を達成すること。
• 再トレーニングを必要とせず、既存の深層エッジ検出器を強化できるプラグアンドプレイモジュールを開発すること。

提案手法

• 特徴量のアンミックスとサイドエッジ学習の向上を目的とした、境界トレースを実行する新規トレース損失を導入する。
• 複数レベルのサイドエッジを補完的注意重みを学習することで適応的に統合するCoFusionブロックを提案する。
• 境界トレース関数を用いてサイドエッジ予測を精緻化し、高レベル特徴量における空間的混合を低減する。
• テクスチャ抑制関数を用いてエッジ応答を強化し、テクスチャ領域における誤検出を低減する。
• トレース損失とCoFusionブロックを組み合わせることで、特徴量の混合とサイド出力の混合を同時に解消する。
• 標準初期化を用いてエンドツーエンドでモデルを訓練し、RCF、HED、BDCNなどの既存の検出器にCATSを統合する。

実験結果

リサーチクエスチョン

• RQ1 形態的NMSを用いない状態で、深層エッジ検出器はシャープなエッジ局所化を達成できるか？
• RQ2 CNNにおける特徴量の混合がエッジ検出性能に及ぼす影響はどの程度か？
• RQ3 細粒度なエッジディテールを保持するため、サイドエッジ統合をどのように改善できるか？
• RQ4 軽量でプラグアンドプレイ可能なモジュールは、標準のVGG16ベースのエッジ検出器を強化できるか？
• RQ5 境界トレースとコンテキストに配慮した統合による特徴量のアンミックスは、一貫した性能向上をもたらすか？

主な発見

• VGG16バックボーンを用いたRCFにCATSを統合した場合、形態的NMSを用いない評価において、BSDS500上でのF-measure（ODS）が12%向上した。BDCNでは6%向上した。
• 完全なCATSはBSDS500でODS 0.731、OIS 0.744を達成し、それぞれRCFよりも1.1%、0.8%向上した。
• シャープネスを重視した評価では、ODSがRCF比で7%、OISが7.1%向上し、優れた局所化精度を示した。
• トレース損失単体ではODSが0.9%、OISが0.8%向上したが、CoFusionブロック単体ではシャープネス向上が限定的であった。
• CoFusionブロックは境界部で低レベルのサイドエッジに高い重みを割り当て、滑らかな領域では高レベル出力に高い重みを割り当てるよう学習しており、効果的なサイドアンミックスが実現されていることを確認した。
• 除去実験の結果、トレース損失とCoFusionブロックを併用することで最良の性能が得られ、両者が特徴量とサイドのアンミックスにおいて補完的役割を果たしていることが証明された。