[論文レビュー] TRACER: Extreme Attention Guided Salient Object Tracing Network

Min Seok Lee, Woo-Seok Shin+1 more|arXiv (Cornell University)|Dec 14, 2021

Visual Attention and Saliency Detection被引用数 15

ひとこと要約

TRACERは、マスク付きエッジ注目、ユニオン注目、オブジェクト注目モジュールを用いた極端な注目メカニズムにより、性能と効率性を向上させる新しい顕著オブジェクト検出ネットワークを提案する。エッジ特徴の精緻な伝搬のためのマスク付きエッジ注目、多層特徴統合のためのユニオン注目、および復元された特徴から検出されなかったオブジェクトやエッジ詳細を抽出するデコーダー内でのオブジェクト注目により、計算コストを削減しつつ、最先端の性能を達成する。アダプティブピクセルワイド損失関数と選択的モジュール使用により、5つのベンチマークで精度が向上し、計算コストが低減された。

ABSTRACT

Existing studies on salient object detection (SOD) focus on extracting distinct objects with edge information and aggregating multi-level features to improve SOD performance. To achieve satisfactory performance, the methods employ refined edge information and low multi-level discrepancy. However, both performance gain and computational efficiency cannot be attained, which has motivated us to study the inefficiencies in existing encoder-decoder structures to avoid this trade-off. We propose TRACER, which detects salient objects with explicit edges by incorporating attention guided tracing modules. We employ a masked edge attention module at the end of the first encoder using a fast Fourier transform to propagate the refined edge information to the downstream feature extraction. In the multi-level aggregation phase, the union attention module identifies the complementary channel and important spatial information. To improve the decoder performance and computational efficiency, we minimize the decoder block usage with object attention module. This module extracts undetected objects and edge information from refined channels and spatial representations. Subsequently, we propose an adaptive pixel intensity loss function to deal with the relatively important pixels unlike conventional loss functions which treat all pixels equally. A comparison with 13 existing methods reveals that TRACER achieves state-of-the-art performance on five benchmark datasets. We have released TRACER at https://github.com/Karel911/TRACER.

研究の動機と目的

• 既存の顕著オブジェクト検出（SOD）手法における性能と計算効率のトレードオフを解消すること。
• エンコーダ・デコーダアーキテクチャにおける非効率を解消し、余分な注目やデコーダーブロックの使用を最小限に抑えること。
• 注目誘導モジュールを用いてエッジ表現と多層特徴の統合を向上させること。
• 明確なエッジを背景領域や中心オブジェクト領域よりも優先するピクセル適応型損失関数を開発すること。
• 最小限のパラメータ数とFLOPの増加で、ベンチマークデータセットにおいて最先端の性能を達成すること。

提案手法

• 最初のエンコーダーブロックで高速フーリエ変換を用いたマスク付きエッジ注目モジュールを導入し、エッジ特徴を精緻にし、それを下流に伝搬する。
• 多層統合においてユニオン注目モジュールを採用し、分布の乖離を低減し、重要なチャネルおよび空間的特徴を特定する。
• デコーダーでオブジェクト注目モジュールを用い、精緻化された特徴から検出されなかったオブジェクトやエッジ詳細を抽出することで、デコーダーブロックの使用を最小限に抑える。
• 明確なエッジ付近のピクセルに高い重みを割り当てるアダプティブピクセル強度損失関数を提案し、局所化精度を向上させる。
• 構造的認識力とノイズのあるラベルに対するロバストネスを向上させるために、カーネルサイズ{3, 15, 31}を用いた階層的マルチカーネル統合を損失関数に組み込む。
• さまざまなバックボーン（例：ResNet、DenseNet、Xception）と統合し、複数のアーキテクチャで有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを戦略的に適用することで、計算コストを増加させずにSOD性能を向上させることができるか？
• RQ2 パラメータ数やFLOPの増加なしに、浅い層から深い層へとエッジ特徴を効果的に伝搬させることは可能か？
• RQ3 多層特徴を最適に統合する方法は何か？分布の乖離を最小限に抑え、補完的情報を強化できるか？
• RQ4 アダプティブピクセルワイド損失関数は、細かなエッジの検出を向上させるとともに、背景ノイズの影響を低減できるか？
• RQ5 損失関数における階層的マルチカーネル統合は、構造的認識力とモデルのロバストネスを向上させるか？

主な発見

• TRACERは5つのベンチマークデータセット（DUTS-TE、DUT-O、HKU-IS、ECSSD、PASCAL-S）で最先端の性能を達成した。
• DUTS-TEでは、MaxFが0.936、MAEが0.026、$S_m$が0.931を達成し、13の既存手法を上回った。
• TRACERのTE4バージョンは、たった8.64 GFLOPsでMaxFが0.936を達成し、高い効率性を示した。
• アダプティブピクセル強度損失関数に3つのカーネルサイズ（3, 15, 31）を用いることで、最も優れた性能が得られ、単一または二重カーネルバージョンを上回った。
• XceptionベースのTRACERバージョンは、25.38 GFLOPsで高い精度（MaxF: 0.927）を達成し、効率性と性能のバランスが優れていた。
• アブレーションスタディにより、階層的マルチカーネル統合が構造的認識力の向上とノイズラベルに対するロバストネスの向上に寄与することが確認された。