[論文レビュー] Self-Supervised Representation Learning for RGB-D Salient Object Detection.

Xiaoqi Zhao, Youwei Pang+3 more|arXiv (Cornell University)|Jan 29, 2021

Visual Attention and Saliency Detection参考文献 62被引用数 4

ひとこと要約

本論文は、6,392枚のアノテーションなしRGB-Dデータで事前学習する2つの事前学習タスク（クロスモダリティオートエンコーダと深度エッジ推定）を用いて、RGB-D顕著オブジェクト検出の自己教師付き表現学習フレームワークを提案する。その性能は、ImageNetで事前学習されたモデルと同等であり、アノテーションなしのデータのみで学習可能である。

ABSTRACT

Existing CNNs-Based RGB-D Salient Object Detection (SOD) networks are all required to be pre-trained on the ImageNet to learn the hierarchy features which can help to provide a good initialization. However, the collection and annotation of large-scale datasets are time-consuming and expensive. In this paper, we utilize Self-Supervised Representation Learning (SSL) to design two pretext tasks: the cross-modal auto-encoder and the depth-contour estimation. Our pretext tasks require only a few and unlabeled RGB-D datasets to perform pre-training, which makes the network capture rich semantic contexts and reduce the gap between two modalities, thereby providing an effective initialization for the downstream task. In addition, for the inherent problem of cross-modal fusion in RGB-D SOD, we propose a consistency-difference aggregation (CDA) module that splits a single feature fusion into multi-path fusion to achieve an adequate perception of consistent and differential information. The CDA module is general and suitable for both cross-modal and cross-level feature fusion. Extensive experiments on six benchmark RGB-D SOD datasets, our model pre-trained on the RGB-D dataset ($6,392$ without any annotations) can perform favorably against most state-of-the-art RGB-D methods pre-trained on ImageNet ($1,280,000$ with image-level annotations).

研究の動機と目的

• RGB-D顕著オブジェクト検出における大規模なアノテーション付きデータセットの作成にかかる高コストと人的負担を軽減すること。
• RGB-Dデータに対する自己教師付き学習を活用することで、ImageNet事前学習への依存を低減すること。
• 事前学習タスクを通じて、RGB-D融合におけるクロスモダリティ特徴の整合性と意味的理解を向上させること。
• RGB-D SODにおけるクロスモダリティ統合の本質的課題を克服するため、汎用的な統合モジュールを設計すること。
• 最小限の監視情報で最先端の性能を達成するために、小さなアノテーションなしRGB-Dデータセット上で事前学習すること。

提案手法

• RGBと深度モダリティの特徴を共有された潜在表現から再構成するクロスモダリティオートエンコーダの事前学習タスクを設計し、モダリティ間の整合性を促進する。
• RGB特徴から深度エッジマップを予測する深度エッジ推定タスクを導入し、幾何的・構造的理解を強化する。
• 特徴統合を一貫性のあるパスと差分のパスに分解する一貫性差分集約（CDA）モジュールを提案し、クロスモダリティおよびクロスレベル特徴の相互作用を向上させる。
• 6,392枚のアノテーションなしRGB-Dデータセット上で、2つの事前学習タスクを用いてエンドツーエンドでネットワークを学習し、豊富な階層的表現を学習する。
• 下流のRGB-D SODタスクにおいて、バウンディングボックスまたはセグメンテーションアノテーションのみを用いて、事前学習モデルを微調整する。
• CDAモジュールをクロスモダリティおよびクロスレベルの特徴統合に適用し、モダリティおよび特徴レベル間で共有された情報と固有の情報を効果的に把握可能にする。

実験結果

リサーチクエスチョン

• RQ1 アノテーションなしのRGB-Dデータに対する自己教師付き事前学習タスクは、RGB-D顕著オブジェクト検出においてImageNet事前学習を効果的に代替できるか？
• RQ2 クロスモダリティオートエンコーダと深度エッジ推定という事前学習タスクは、RGB-Dデータの意味的・構造的情報をどれほど的確に捉えられるか？
• RQ3 一貫性差分集約（CDA）モジュールは、RGB-D SODにおけるクロスモダリティ特徴統合をどの程度向上させるか？
• RQ4 6,392枚のアノテーションなしRGB-D画像でのみ事前学習されたモデルは、ベンチマークデータセットでImageNet事前学習モデルと同等の性能を達成できるか？
• RQ5 CDAモジュールは、クロスモダリティおよびクロスレベルの特徴統合といった異なる統合シナリオにどの程度汎用的に適用可能か？

主な発見

• 6,392枚のアノテーションなしRGB-D画像を用いた自己教師付き事前学習により、1,280,000枚の画像レベルアノテーションを含むImageNetで事前学習された最先端の手法と同等の性能が達成された。
• クロスモダリティオートエンコーダと深度エッジ推定という事前学習タスクは、特徴表現の質とモダリティの整合性を顕著に向上させた。
• 一貫性差分集約（CDA）モジュールは、モダリティおよび特徴レベル間で一貫性のある情報と差分情報を明示的にモデル化することで、特徴統合を強化した。
• 事前学習段階で画像レベルのアノテーションを一切使用しないにもかかわらず、6つのベンチマークデータセットにおいて、多数の既存RGB-D SOD手法を上回るか同等の性能を示した。
• アブレーションスタディの結果、両方の事前学習タスクが性能向上に寄与しており、特に深度エッジ推定タスクがエッジおよびホログラム理解において顕著に有効であることが確認された。
• CDAモジュールはクロスモダリティおよびクロスレベルの統合に共通して適用可能であり、精度とロバスト性の両面で一貫した向上効果を示した。