[論文レビュー] Towards Complex Backgrounds: A Unified Difference-Aware Decoder for Binary Segmentation

Jiepan Li, Wei He+1 more|arXiv (Cornell University)|Oct 27, 2022

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文は、複雑な背景において前景と背景の区別を強化するため、人間の視覚的注意に倣った統合型二重ブランチ差分感知デコーダー（DAD）を提案する。三段階のプロセス—ガイドマップ生成、背景注意特徴統合、差分誘導強化—を通じて、マルチレベル特徴を活用し、顕著物体検出、 camouflage 物体検出、ポリープ分類、ミラー検出の各タスクで最先端性能を達成する。

ABSTRACT

Binary segmentation is used to distinguish objects of interest from background, and is an active area of convolutional encoder-decoder network research. The current decoders are designed for specific objects based on the common backbones as the encoders, but cannot deal with complex backgrounds. Inspired by the way human eyes detect objects of interest, a new unified dual-branch decoder paradigm named the difference-aware decoder is proposed in this paper to explore the difference between the foreground and the background and separate the objects of interest in optical images. The difference-aware decoder imitates the human eye in three stages using the multi-level features output by the encoder. In Stage A, the first branch decoder of the difference-aware decoder is used to obtain a guide map. The highest-level features are enhanced with a novel field expansion module and a dual residual attention module, and are combined with the lowest-level features to obtain the guide map. In Stage B, the other branch decoder adopts a middle feature fusion module to make trade-offs between textural details and semantic information and generate background-aware features. In Stage C, the proposed difference-aware extractor, consisting of a difference guidance model and a difference enhancement module, fuses the guide map from Stage A and the background-aware features from Stage B, to enlarge the differences between the foreground and the background and output a final detection result. The results demonstrate that the difference-aware decoder can achieve a higher accuracy than the other state-of-the-art binary segmentation methods for these tasks.

研究の動機と目的

• 前景物体が背景と視覚的に類似しているか、背景と区別がつかない複雑な背景において、正確な二値分類を達成する課題に対処する。
• タスク特化型デコーダーの限界を克服し、多様な二値分類タスクに適用可能な統合型デコーダー・アーキテクチャを設計する。
• 人間の視覚系の三段階検出プロセス（粗い検出、背景注意、差分増幅）を模倣することで、特徴表現を向上させる。
• 分野拡張モジュール、デュアルリーマンアテンション、差分感知統合メカニズムといった新規モジュールを用いて、特徴の識別能を向上させる。
• VGG、ResNet、Res2Net、PVT などの標準的なバックボーンを用いて、複数の二値分類タスクにおける汎用性と頑健性を実証する。

提案手法

• 段階Aでは、エンコーダーの最高レベルおよび最低レベルの特徴を用い、分野拡張モジュール（FEM）とデュアルリーマンアテンションを活用して、注目対象の局所化を目的としたガイドマップを生成する。
• 段階Bでは、中間レベル特徴からの意味的およびテクスチャ的情報をバランスさせるために、中間特徴統合（MFF）モジュールを採用し、背景注意特徴を生成する。
• 段階Cでは、ガイドマップと背景注意特徴を、差分感知抽出器（DAE）を介して統合する。DAEは差分誘導モデル（DGM）と差分強化モジュール（DEM）を組み合わせたものである。
• DGMはクロスアテンションに類似したメカニズムを用い、ガイドマップからの事前知識を活用して特徴を精緻化し、前景の関連性を向上させる。
• DEMは特徴の差分（前景 - 背景）を計算することで、物体と背景の差を強調し、分類精度を向上させる。
• DAEモジュールはプラグアンドプレイ型に設計されており、最適な性能を得るためには2回の繰り返しが推奨され、3回以上になると性能劣化を引き起こす可能性がある。

実験結果

リサーチクエスチョン

• RQ1 複雑な背景を有する多様な二値分類タスクを効果的に処理できる統合型デコーダー・アーキテクチャは、実現可能か？
• RQ2 深層学習ベースの分類フレームワークにおいて、人間の視覚的注意メカニズムを効果的にモデル化できるか？
• RQ3 前景の局所化と背景の識別を同時に向上させる最適なデコーダー設計は何か？
• RQ4 FEM、MFF、DGM、DEM といった個々のモジュールが、複雑な背景下での全体的な性能向上にどのように寄与しているか？
• RQ5 提案された差分感知統合戦略は、標準的な特徴統合法やアテンション機構よりも、二値分類タスクにおいて優れているか？

主な発見

• 差分感知デコーダー（DAD）は、顕著物体検出（SOD）、camouflage 物体検出（COD）、ポリープ分類、ミラー検出の4つの二値分類タスクで、最先端性能を達成した。
• CAMO データセットでは、DAD は $E_{\rho}$ 0.895 および $M$ 0.063 を達成し、SOTA手法である BASNet（0.887, 0.068）を両方の指標で上回った。
• COD10K データセットでは、DAD は $E_{\rho}$ 0.905 および $M$ 0.032 を達成し、SINet V2（0.898, 0.038）を両方の指標で上回った。
• ECSSD では、DAD は $E_{\rho}$ 0.963 および $M$ 0.028 を達成し、Polyp-PVT の性能（0.950, 0.032）を上回った。
• PASCAL-S では、DAD は $E_{\rho}$ 0.909 および $M$ 0.058 を達成し、MirrorNet（0.901, 0.060）を上回った。
• アブレーションスタディの結果、分野拡張モジュール（FEM）は ASPP や RFB を上回り、DAE モジュールの2回繰り返しが最適な性能をもたらすが、3回以上になると性能が劣化することが確認された。