[論文レビュー] Promoting Saliency From Depth: Deep Unsupervised RGB-D Saliency Detection

Wei Ji, Jingjing Li+4 more|arXiv (Cornell University)|May 15, 2022

Visual Attention and Saliency Detection被引用数 16

ひとこと要約

本稿では、ピクセル単位のアノテーションを不要にする深層非教師付きRGB-D サリエンシー検出手法を提案する。深度分解能のあるサリエンシー更新（DSU）フレームワークを用いて、深度の手がかりを用いて反復的に擬似ラベルを精錬し、信頼性の高い擬似ラベルを再重み付けする注意型トレーニング戦略を組み合わせる。この手法は、追加の推論コストなしにNLPRベンチマークでベースライン比37%の向上を達成する。

ABSTRACT

Growing interests in RGB-D salient object detection (RGB-D SOD) have been witnessed in recent years, owing partly to the popularity of depth sensors and the rapid progress of deep learning techniques. Unfortunately, existing RGB-D SOD methods typically demand large quantity of training images being thoroughly annotated at pixel-level. The laborious and time-consuming manual annotation has become a real bottleneck in various practical scenarios. On the other hand, current unsupervised RGB-D SOD methods still heavily rely on handcrafted feature representations. This inspires us to propose in this paper a deep unsupervised RGB-D saliency detection approach, which requires no manual pixel-level annotation during training. It is realized by two key ingredients in our training pipeline. First, a depth-disentangled saliency update (DSU) framework is designed to automatically produce pseudo-labels with iterative follow-up refinements, which provides more trustworthy supervision signals for training the saliency network. Second, an attentive training strategy is introduced to tackle the issue of noisy pseudo-labels, by properly re-weighting to highlight the more reliable pseudo-labels. Extensive experiments demonstrate the superior efficiency and effectiveness of our approach in tackling the challenging unsupervised RGB-D SOD scenarios. Moreover, our approach can also be adapted to work in fully-supervised situation. Empirical studies show the incorporation of our approach gives rise to notably performance improvement in existing supervised RGB-D SOD models.

研究の動機と目的

• 教師ありRGB-D サリエンシー検出における手作業によるピクセル単位のアノテーションのボトルネックを解消する。
• 既存の非教師付き手法が手作業特徴に依存するという制限を克服し、ラベルなしデータからの深層表現を活用する。
• 手作業アノテーションを一切必要とせず、RGBと深度入力のみで効果的な非教師付き学習を可能にする。
• サリエンシーに導かれる深度と非サリエンシーに導かれる深度の成分に深度を分解することで、ノイズを低減し、監視を強化する。
• 擬似ラベルの信頼性に基づいて再重み付けを行うトレーニング戦略を開発し、非教師付き学習におけるノイズラベルの影響を軽減する。

提案手法

• 専用ネットワークを用いて、元の深度をサリエンシーに導かれる深度（$D_{\text{Sal}}$）と非サリエンシーに導かれる深度（$D_{\text{NonSal}}$）に分解する深度分解能サリエンシー更新（DSU）フレームワークを導入する。
• サリエンシーに導かれる深度（$D_{\text{Sal}}$）を用いて擬似ラベルにおけるサリエンシー反応を強調し、非サリエンシーに導かれる深度（$D_{\text{NonSal}}$）を用いて擬似ラベル精錬中の背景の干渉を抑制する。
• しきい値処理、正規化、およびCRFの後処理を適用して、オブジェクト内での深度ばらつきを低減し、擬似ラベルを滑らかにする。
• 擬似ラベルの信頼性に基づいて学習サンプルを再重み付けする注意型トレーニング戦略（ATS）を実装し、ノイズの影響を低減する。
• 精錬された擬似ラベルを用いて、DSUおよびATSコンポーネントがトレーニング時のみ有効となるように、エンドツーエンドでサリエンシーネットワークを訓練する。
• 推論時にはRGB入力のみを用いるようにし、テスト時に深度入力を排除することで、効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のアノテーションを一切必要としない深層非教師付きRGB-D サリエンシー検出手法を開発可能か？
• RQ2 非教師付き学習における擬似ラベル品質を向上させるために、深度情報はどのように効果的に活用できるか？
• RQ3 サリエンシーと非サリエンシーに導かれる深度の成分を分離することで、深度分解能ネットワークアーキテクチャが擬似ラベルの信頼性を向上させられるか？
• RQ4 注意型トレーニング戦略は、ノイズの多い擬似ラベルによって引き起こされる性能低下をどの程度軽減できるか？
• RQ5 提案手法は完全教師あり設定においても性能向上に適応可能か？

主な発見

• 提案手法は、非教師付きRGB-D SODにおいてNLPRベンチマークでベースライン比37%の相対的向上を達成し、強力な有効性を示した。
• CRFベースの深度スムージングを備えたDSUフレームワークは、NLPRで$F_{\beta}^{w}$を0.006、$E_{\xi}$を0.006向上させ、深度の不一致に対する耐性が向上した。
• 注意型トレーニング戦略は、曖昧な擬似ラベルの影響を効果的に低減し、より安定的かつ正確なサリエンシー予測を実現した。
• 本手法は一般化性に優れており、既存の教師ありモデルに統合することで、完全教師あり設定でも顕著な性能向上が得られた。
• アブレーションスタディにより、深度の分解能と注意型再重み付けの両方が性能向上に不可欠な要素であることが確認された。
• 推論時に深度入力を排除することで、推論効率を維持し、追加の計算コストを一切発生させない。