[論文レビュー] SE2Net: Siamese Edge-Enhancement Network for Salient Object Detection

Sanping Zhou, Jimuyang Zhang+3 more|arXiv (Cornell University)|Mar 29, 2019

Visual Attention and Saliency Detection参考文献 50被引用数 13

ひとこと要約

本稿では、複数段階にわたり相補的・統合的に顕著オブジェクト領域とエッジを予測することで境界精度を向上させる、シアンプス型エッジ強化ネットワークSE2Netを提案する。教師ありエッジ監視とエッジ指向の推論精錬を活用することで、先行手法と比較してFβとMAEが1.2–1.8%向上し、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

Deep convolutional neural network significantly boosted the capability of salient object detection in handling large variations of scenes and object appearances. However, convolution operations seek to generate strong responses on individual pixels, while lack the ability to maintain the spatial structure of objects. Moreover, the down-sampling operations, such as pooling and striding, lose spatial details of the salient objects. In this paper, we propose a simple yet effective Siamese Edge-Enhancement Network (SE2Net) to preserve the edge structure for salient object detection. Specifically, a novel multi-stage siamese network is built to aggregate the low-level and high-level features, and parallelly estimate the salient maps of edges and regions. As a result, the predicted regions become more accurate by enhancing the responses at edges, and the predicted edges become more semantic by suppressing the false positives in background. After the refined salient maps of edges and regions are produced by the SE2Net, an edge-guided inference algorithm is designed to further improve the resulting salient masks along the predicted edges. Extensive experiments on several benchmark datasets have been conducted, which show that our method is superior than the state-of-the-art approaches.

研究の動機と目的

• 深層ネットワークにおけるプーリングやストライドによるオブジェクト境界の詳細の劣化を是正すること。
• 領域予測と併せて、エッジを教師ありの意味的認識可能なタスクとして明示的にモデル化することで、セマンティックマップの精度を向上させること。
• 予測されたエッジに沿って微細な欠陥を是正する新しいエッジ指向の推論アルゴリズムを用いて、セマンティックマップの推論を精錬すること。
• 複数段階のシアンプス型アーキテクチャにおける領域ブランチとエッジブランチの補完的学習により、既存手法を上回る性能を達成すること。

提案手法

• 低レベル特徴と高レベル特徴、および前段階の予測結果を統合することで、段階的にセマンティックマップの予測を改善する複数段階のシアンプスネットワークを設計した。
• ネットワークは2つの並列ブランチを含む：1つは顕著領域の予測、もう1つはオブジェクトエッジの予測で、両方とも完全に教師ありで学習された。
• 各段階でのエッジ予測と領域予測は、次の段階に低レベル・高レベル特徴とともに入力され、出力を段階的に精錬する。
• ネットワーク出力後に、新たなエッジ指向の推論アルゴリズムを適用し、予測エッジに沿った誤差を是正することで、最終的なセマンティックマスクの品質を向上させた。
• エッジマップは、CannyやLaplacianなどの汎用検出器を用いて正例マスクから生成され、エッジ学習のための高精度な監視を可能にした。
• バックボーン（例：VGG16、ResNet50）を用いて初期特徴を抽出し、スキップ接続を備えた段階的精錬モジュールを段階的に適用した。

実験結果

リサーチクエスチョン

• RQ1 シアンプス型で複数段階のアーキテクチャを用いて、顕著領域とエッジを統合的に学習することで、顕著オブジェクト検出における境界精度が向上するか？
• RQ2 完全に教師ありのエッジ監視は、弱教師ありや暗黙的エッジモデル化と比較して、より正確で意味的認識可能なエッジ予測をもたらすか？
• RQ3 エッジ指向の推論ステップにより、予測エッジに沿った誤差を是正することで、セマンティックマップがさらに精錬されるか？
• RQ4 精度と推論速度の両面で、本手法は最先端のアプローチと比較して優れているか？

主な発見

• SE2Netは6つのベンチマークデータセットで最先端の性能を達成し、バックボーンにResNet50を使用した場合、Fβで1.2%、MAEで1.8%の向上を達成した。
• ESSCDデータセットでは、Fβが0.958、MAEが0.032を達成し、最良の競合手法（MSR）をFβで4.5%、MAEで41%上回った。
• R3Netと比較して、MAEを1.6%低減し、Fβを2.6%向上させた。これはエッジブランチと複数段階の精錬の有効性を示している。
• エッジ指向の推論ステップにより、物体境界付近でのマスク品質が顕著に向上し、定性的な結果でも確認された。
• SE2Netは計算効率に優れ、300×300の入力画像に対して0.022秒でセマンティックマップを生成でき、推論速度面でも競争力を持つ。
• アブレーションスタディにより、シアンプス型複数段階アーキテクチャとエッジ指向の推論が性能向上に顕著に寄与していることが確認された。