[論文レビュー] RGBT Salient Object Detection: A Large-scale Dataset and Benchmark

Zhengzheng Tu, Yan Ma+4 more|arXiv (Cornell University)|Jul 7, 2020

Visual Attention and Saliency Detection被引用数 36

ひとこと要約

VT5000を紹介する大規模なRGBTデータセット5000組のサンプルを対象物検出のために提供し、ADFNetという注意に基づく多モーダル融合ネットワークを提示します。VT5000と公開データセットVT821/VT1000の双方で、先行手法を上回る性能を示します。

ABSTRACT

Salient object detection in complex scenes and environments is a challenging research topic. Most works focus on RGB-based salient object detection, which limits its performance of real-life applications when confronted with adverse conditions such as dark environments and complex backgrounds. Taking advantage of RGB and thermal infrared images becomes a new research direction for detecting salient object in complex scenes recently, as thermal infrared spectrum imaging provides the complementary information and has been applied to many computer vision tasks. However, current research for RGBT salient object detection is limited by the lack of a large-scale dataset and comprehensive benchmark. This work contributes such a RGBT image dataset named VT5000, including 5000 spatially aligned RGBT image pairs with ground truth annotations. VT5000 has 11 challenges collected in different scenes and environments for exploring the robustness of algorithms. With this dataset, we propose a powerful baseline approach, which extracts multi-level features within each modality and aggregates these features of all modalities with the attention mechanism, for accurate RGBT salient object detection. Extensive experiments show that the proposed baseline approach outperforms the state-of-the-art methods on VT5000 dataset and other two public datasets. In addition, we carry out a comprehensive analysis of different algorithms of RGBT salient object detection on VT5000 dataset, and then make several valuable conclusions and provide some potential research directions for RGBT salient object detection.

研究の動機と目的

• 大規模で多様性に富み、ground truthマスクと11の注釈を備えた自由に入手可能なRGBTデータセット（VT5000）を作成する。
• RGBと熱バンドを用いた注意ベースの融合を用いたエンドツーエンドのCNNベースライン（ADFNet）を提案する。
• エッジ認識損失による境界精度の向上と、マルチレイヤー特徴融合およびグローバル文脈モジュールによるサリエンシーの洗練化を図る。
• VT5000および公開データセットのRGBT SOD手法を分析・比較し、今後の研究を導く。

提案手法

• RGBと熱特徴を個別に抽出する2ストリームのVGG16ベースのバックボーンを開発する。
• 融合前にチャネル・空間特徴のウェイティングを行うConvolutional Block Attention Module（CBAM）を適用する。
• 低レベルと高レベルの情報を保つため、複数の層でモダリティ特徴を融合する。
• 複数スケールでグローバル文脈ガイダンスを提供するPyramid Pooling Module（PPM）を組み込む。
• 融合後にマルチスケール特徴を統合するFeature Aggregation Module（FAM）を導入する。
• オブジェクト境界を鮮明にするため、クロスエントロピー損失とエッジベースの Refinement 損失で訓練する。

Figure 1: Sample image pairs with annotated ground truth and challenges from our RGBT dataset. (a) and (b) indicate the RGB image and its corresponding thermal image respectively. (c) is the corresponding ground truth of RGBT image pair.

実験結果

リサーチクエスチョン

• RQ1 深度学習ネットワークを堅牢に学習させるには、RGBT SODデータセットはどれくらい大きく多様であるべきか。
• RQ2 注意ベースの多モーダル融合は、単一モードや単純な融合ベースラインよりRGBTサリエンシー検出を改善できるか。
• RQ3 マルチレイヤー融合とグローバル文脈モジュールは、RGBT SODの定位と境界の描写を強化するか。
• RQ4 提案手法のVT5000および既存のVT821/VT1000データセットでの比較性能はどうか。

主な発見

課題	PoolNet	BASNet	CPD	PFA	R3Net	RAS	PiCANet	EGNet	MTMR	SCGL	ADFNet
BSO	0.800	0.858	0.872	0.802	0.831	0.768	0.804	0.873	0.667	0.754	0.880
CB	0.725	0.808	0.845	0.748	0.794	0.669	0.796	0.838	0.575	0.703	0.854
CIB	0.740	0.822	0.860	0.742	0.822	0.688	0.790	0.854	0.582	0.694	0.860
IC	0.721	0.775	0.812	0.735	0.745	0.672	0.752	0.818	0.564	0.681	0.835
LI	0.757	0.832	0.840	0.749	0.790	0.707	0.783	0.848	0.695	0.742	0.868
MSO	0.706	0.794	0.826	0.729	0.774	0.655	0.777	0.815	0.620	0.710	0.837
OF	0.762	0.816	0.821	0.754	0.759	0.738	0.758	0.817	0.707	0.738	0.837
SA	0.727	0.762	0.825	0.726	0.728	0.673	0.748	0.791	0.653	0.665	0.835
SSO	0.658	0.718	0.767	0.695	0.663	0.535	0.676	0.701	0.698	0.753	0.806
TC	0.720	0.791	0.811	0.762	0.729	0.711	0.745	0.791	0.570	0.675	0.841
BW	0.750	0.768	0.795	0.671	0.753	0.701	0.773	0.774	0.606	0.643	0.804
RGB	0.733	0.785	0.804	0.731	0.736	0.690	0.743	0.785	0.670	0.671	0.817
T	0.719	0.787	0.802	0.755	0.719	0.699	0.736	0.776	0.564	0.664	0.833

• VT5000は11の注釈付き課題を備えた5000組のalign済みRGBT画像ペアを提供し、RGBT SOD手法の堅牢な評価を可能にする。
• 提案手法のADFNetは、VT5000および2つの公開データセット（VT821、VT1000）で最先端手法を一貫して上回る。
• CBAMベースの注意機構とマルチレイヤー融合は、サリエンシー検出のためにRGBと熱の補完的手掛かりを効果的に活用する。
• PPMとFAMモジュールは、それぞれグローバル文脈認識とマルチスケール特徴統合を改善する。
• エッジ損失はサリエンシーマップにおける境界をよりシャープにするのに寄与する。
• VT5000の総合分析は、RGBT SODにおける今後の研究方向と実用的な洞察を提供する。

Figure 2: Challenge distribution of VT821, VT1000 and VT5000.