[論文レビュー] Recursive Contour Saliency Blending Network for Accurate Salient Object Detection

Yi Ke Yun, Takahiro Tsubono|arXiv (Cornell University)|May 28, 2021

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

本論文は、再帰的畳み込みニューラルネットワーク（CNN）を用いて、境界精度を向上させながらモデル効率を維持する、新しい輪郭・顕著性ブレンド（CSB）モジュールを備えた再帰的輪郭・顕著性ブレンドネットワーク（RCSBNet）を提案する。このモデルは、輪郭と顕著性特徴を融合することで顕著オブジェクト検出を向上させ、わずか2790万パラメータで5つのベンチマークデータセットで最先端性能を達成している。

ABSTRACT

Contour information plays a vital role in salient object detection. However, excessive false positives remain in predictions from existing contour-based models due to insufficient contour-saliency fusion. In this work, we designed a network for better edge quality in salient object detection. We proposed a contour-saliency blending module to exchange information between contour and saliency. We adopted recursive CNN to increase contour-saliency fusion while keeping the total trainable parameters the same. Furthermore, we designed a stage-wise feature extraction module to help the model pick up the most helpful features from previous intermediate saliency predictions. Besides, we proposed two new loss functions, namely Dual Confinement Loss and Confidence Loss, for our model to generate better boundary predictions. Evaluation results on five common benchmark datasets reveal that our model achieves competitive state-of-the-art performance.

研究の動機と目的

• 弱い輪郭・顕著性統合による輪郭ベースの顕著オブジェクト検出モデルにおける誤検出の過剰な発生を是正する。
• SOD分野における大規模パラメータモデルの傾向に対し、性能を損なわずモデルの複雑さと学習可能なパラメータ数を低減する。
• エンドツーエンド統合により、輪郭と顕著性特徴をより効果的に統合することで境界予測精度を向上させる。
• 中間監視用の余分な側枝を排除するため、段階的特徴抽出（SFE）モジュールを導入する。
• 2つの新規損失関数を用いた二重目的学習戦略により、モデルの信頼性と予測精度を向上させる。

提案手法

• 再帰的CNNアーキテクチャ内での輪郭ブランチと顕著性ブランチ間の反復的・双方向的特徴交換を可能にする、新しい輪郭・顕著性ブレンド（CSB）モジュールを提案する。
• 再帰的CNNを用いることで、モデルサイズを増大させずにネットワークを深くし、特徴表現を向上させる。
• 中間の顕著性および輪郭予測を直接主ネットワークで監視できる段階的特徴抽出（SFE）モジュールを導入し、補助的側枝の必要性を排除する。
• 顕著性マップが形状および空間的範囲の両面で正例に近づくように制約を課すことで、境界予測を精緻化するための二重制約損失（DCLoss）を設計する。
• 正解予測に対して高い信頼度出力を促すことで、特に難易度の高い例の信頼性を向上させるため、モデルの信頼性を向上させるための信頼度損失（CLoss）を提案する。
• BCE、重み付きIOU、DCLoss、CLossの組み合わせを用いて学習することで、精度と信頼度の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 輪郭ブランチと顕著性ブランチ間の再帰的特徴統合は、モデルパラメータを削減しつつ境界検出精度を向上させることができるか？
• RQ2 側枝による監視を伴う別個のブランチ学習と比較して、輪郭と顕著性特徴の早期段階でのエンドツーエンド統合は優れているか？
• RQ3 段階的特徴抽出モジュールは、余分なパラメータを追加せずに誤検出を効果的に抑制できるか？
• RQ4 提案されたDCLossとCLossは、標準損失関数と比較して境界の正確性とモデルの信頼度をどの程度向上させるか？
• RQ5 わずか2790万パラメータの軽量モデルが、複数のベンチマークデータセットで最先端性能を達成できるか？

主な発見

• RCSBNetはDUTS-TEで平均Fスコア0.855、ECSSDで0.927を達成し、5つのベンチマークデータセットで13の最先端モデルを上回った。
• わずか2790万パラメータで競争力のある性能を発揮し、EGNet（10800万）、BASNet（8700万）、U2Net（4400万）などのモデルと比較して顕著に少ない。
• アブレーションスタディの結果、精緻化モジュールと信頼度監視の併用が最良の性能をもたらし、ベースライン比でFスコアが0.013向上した。
• SFEモジュールの導入により、DUTS-TEにおける平均絶対誤差（M）は0.040から0.034に低下し、誤検出の抑制が向上したことが示された。
• DCLossとCLossの使用により、DUTS-TEでMスコアが0.034に、ECSSDでE-measureが0.903に向上し、境界の一貫性と正確性が向上した。
• 定性的な結果から、RCSBNetは閾値にわたるFスコア曲線が滑らかで、バイナリ正例とより良好に一致していることが示された。