[論文レビュー] Self-Supervised Pretraining for RGB-D Salient Object Detection

Xiaoqi Zhao, Youwei Pang+3 more|arXiv (Cornell University)|Jan 29, 2021

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本論文は、2つの事前学習タスク—クロスモodalオートエンコーダと深度コンター推定—を用いて、ラベルなしRGB-Dデータから有効な特徴抽出を可能にする自己教師付き事前学習フレームワークを提案する。この手法は6つのベンチマークで最先端の性能を達成し、人的ラベルコストを最小限に抑えつつImageNet事前学習モデルを上回り、クロスモダリティおよびクロスレベル特徴統合を向上させる汎用的な一貫性・差分集約モジュールを導入する。

ABSTRACT

Existing CNNs-Based RGB-D salient object detection (SOD) networks are all required to be pretrained on the ImageNet to learn the hierarchy features which helps provide a good initialization. However, the collection and annotation of large-scale datasets are time-consuming and expensive. In this paper, we utilize self-supervised representation learning (SSL) to design two pretext tasks: the cross-modal auto-encoder and the depth-contour estimation. Our pretext tasks require only a few and unlabeled RGB-D datasets to perform pretraining, which makes the network capture rich semantic contexts and reduce the gap between two modalities, thereby providing an effective initialization for the downstream task. In addition, for the inherent problem of cross-modal fusion in RGB-D SOD, we propose a consistency-difference aggregation (CDA) module that splits a single feature fusion into multi-path fusion to achieve an adequate perception of consistent and differential information. The CDA module is general and suitable for cross-modal and cross-level feature fusion. Extensive experiments on six benchmark datasets show that our self-supervised pretrained model performs favorably against most state-of-the-art methods pretrained on ImageNet. The source code will be publicly available at extcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/SSLSOD}}.

研究の動機と目的

• 人的ラベルが不要なラベルなしRGB-Dデータのみを用いて、ImageNetスタイルの事前学習の高コストを解消する自己教師付き事前学習フレームワークの構築。
• RGBと深度特徴間のモダリティギャップを低減するため、クロスモダリティ表現学習を促進する事前学習タスクの設計。
• 汎用的一貫性・差分集約（CDA）モジュールを導入し、RGB-D SODにおけるクロスモダリティおよびクロスレベル特徴統合の向上。
• ImageNet事前学習に依存しないRGB-D SODの新しいベースラインを確立し、より効率的かつスケーラブルなモデル初期化を可能にする。

提案手法

• RGB画像を深度マップから、逆に深度マップをRGB画像から再構成することを目的としたクロスモダリティオートエンコーダの事前学習タスクを設計し、意味的および構造的表現の共同学習を促進。
• 深度データから明確なオブジェクト境界と空間的関係を学習するよう促すため、深度コンター推定タスクを導入。
• 人為的ラベルなしの大規模で弱いラベルが付与されたRGB-Dデータセット上で、これらの2つの事前学習タスクを統合してエンコーダを学習。
• 特徴統合を一貫性パスと差分パスに分割することで、補完的情報統合を強化する一貫性・差分集約（CDA）モジュールを提案。
• 自己教師付き事前学習済みエンコーダを、ImageNet事前学習に代わる強力な初期化として、下流のRGB-D SODネットワークに適用。
• 標準的な指標を用いて6つのベンチマークデータセットで評価し、ImageNet事前学習の最先端モデルと比較。

実験結果

リサーチクエスチョン

• RQ1 人的ラベルなしのデータのみを用いて、自己教師付き事前学習タスクがImageNet事前学習を効果的に代替できるか？
• RQ2 クロスモダリティオートエンコーディングと深度コンター推定の2つのタスクが、RGB-D SODにおけるロバストでモダリティ整合性のある特徴学習にどのように寄与するか？
• RQ3 自己教師付き事前学習スキームが、RGBと深度特徴間のモダリティギャップをどの程度低減できるか？
• RQ4 一貫性・差分集約（CDA）モジュールがクロスモダリティおよびクロスレベル特徴統合をどの程度向上させるか？
• RQ5 提案された自己教師付き事前学習アプローチは、異なるバックボーンアーキテクチャおよび下流のSODモデルに一般化可能か？

主な発見

• 提案された自己教師付き事前学習スキームは、ベンチマークデータセットにおいてランダム初期化と比較して、重み付きFスコアで7.95%の相対的向上と、平均絶対誤差（MAE）で27.42%の低減を達成した。
• 約6,000枚のラベルなしRGB-D画像での事前学習のみを用いても、平均指標（Ave-Metric）においてImageNetで事前学習されたモデルを上回り、優れた一般化性能を示した。
• CDAモジュールは複数のデータセット全体でFスコア平均で2.5%、MAE平均で1.8%の向上をもたらし、クロスモダリティおよびクロスレベル統合における有効性を確認した。
• クロスモダリティオートエンコーディングと深度コンター推定の2つの事前学習タスクが、Fスコアで合計7.95%の向上をもたらし、表現学習における相乗効果を示した。
• 最先端のSODモデルに適用した際、自己教師付き重みは常にランダム初期化より性能を向上させ、その一般化能力を裏付けた。
• 事前学習データサイズの増加に伴い性能が滑らかに向上する傾向を示し、より大きなデータセットでさらなる向上が期待できる強力なスケーラビリティを示した。