[論文レビュー] Densely Nested Top-Down Flows for Salient Object Detection

Chaowei Fang, Haibin Tian+4 more|arXiv (Cornell University)|Feb 18, 2021

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本稿では、勾配消失を軽減し、セマンティック特徴の再利用を向上させるために段階的圧縮ショートカットパス（PCSPs）を用いた、密度的にネストされたトップダウンフロー（DNTDF）という、新たな軽量顕著オブジェクト検出フレームワークを提案する。EfficientNetと統合することで、DUTS-TEでF3-Netより30.48%少ないFLOPsを消費しながらも、6つのベンチマークデータセットで高い精度を維持し、最先端の性能を達成する。

ABSTRACT

With the goal of identifying pixel-wise salient object regions from each input image, salient object detection (SOD) has been receiving great attention in recent years. One kind of mainstream SOD methods is formed by a bottom-up feature encoding procedure and a top-down information decoding procedure. While numerous approaches have explored the bottom-up feature extraction for this task, the design on top-down flows still remains under-studied. To this end, this paper revisits the role of top-down modeling in salient object detection and designs a novel densely nested top-down flows (DNTDF)-based framework. In every stage of DNTDF, features from higher levels are read in via the progressive compression shortcut paths (PCSP). The notable characteristics of our proposed method are as follows. 1) The propagation of high-level features which usually have relatively strong semantic information is enhanced in the decoding procedure; 2) With the help of PCSP, the gradient vanishing issues caused by non-linear operations in top-down information flows can be alleviated; 3) Thanks to the full exploration of high-level features, the decoding process of our method is relatively memory efficient compared against those of existing methods. Integrating DNTDF with EfficientNet, we construct a highly light-weighted SOD model, with very low computational complexity. To demonstrate the effectiveness of the proposed model, comprehensive experiments are conducted on six widely-used benchmark datasets. The comparisons to the most state-of-the-art methods as well as the carefully-designed baseline models verify our insights on the top-down flow modeling for SOD. The code of this paper is available at https://github.com/new-stone-object/DNTD.

研究の動機と目的

• 既存の顕著オブジェクト検出（SOD）フレームワークにおけるトップダウンセマンティック情報の未利用を是正すること。
• 非線形演算を伴うデコーダーステージにおけるバックプロパゲーション中の勾配消失を軽減すること。
• モデルの複雑さを増さずに高レベルのセマンティック特徴を再利用するメモリ効率の良いデコーダーアーキテクチャを設計すること。
• 特にEfficientNetのような効率的なバックボーンと組み合わせた場合に、最小限の計算コストで最先端のSOD性能を達成すること。

提案手法

• エンコーダーから得られる高レベル特徴を、段階的圧縮ショートカットパス（PCSPs）を介して、すべてのデコーダーステージに伝達する、密度的にネストされたトップダウンフロー（DNTDF）を導入する。
• PCSPsを用いて非線形演算を伴わずに高レベル特徴を圧縮・伝送することで、バックプロパゲーション中の勾配消失を低減する。
• 高レベル特徴からのグローバルコンテキストを抽出するためにピラミッドプーリングモジュール（PPM）を用い、セマンティック表現を強化する。
• 圧縮された高レベル特徴を再利用することで、FLOPsとパラメータ数を最小限に抑えた軽量なデコーダーを設計する。
• DNTDFモジュールをEfficientNetバックボーンと統合し、非常に効率的なSODモデルを構築する。
• エンコーダー特徴の冗長性を低減するために、最大16までの段階的圧縮比を適用する。

実験結果

リサーチクエスチョン

• RQ1 高レベルエンコーダーレイヤーからのトップダウンセマンティック特徴を、低レベルデコーダーレイヤーにどのようにより効果的に伝達できるか？
• RQ2 段階的圧縮ショートカットパス（PCSPs）は、SODデコーダーにおけるバックプロパゲーション中の勾配消失を緩和できるか？
• RQ3 高レベル特徴の再利用は、性能を損なわず、SODモデルの計算複雑度をどの程度低減できるか？
• RQ4 多様なベンチマークにおいて、提案されたDNTDFフレームワークは、既存のSOD手法と比べて、精度と効率の両面でどのように優れているか？

主な発見

• DUTS-TEデータセットにおいて、EfficientNet-B3を用いたDNTDFはS-measureが0.892を達成し、F3-Netより0.007高いが、FLOPsはその30.48%にまで削減された。
• ResNet50を用いた場合、DNTDFはF3-Net（0.855）よりわずかに優れたFmax（0.856）を達成し、FLOPsは2.915Gも削減された。
• DUT-Oにおいて、DNTDFはより小さなバックボーンと少ないパラメータ数を用いながらも、CSNetに比べてMAEを9.62%低減した。
• EfficientNet-B3をバックボーンとして使用しても、DNTDFのデコーダーはF3-Net、ITSD、CSF、MINetに比べて顕著に少ないFLOPsを消費した。
• アブレーションスタディの結果、PCSPsとPPMの両方が性能向上に寄与することが確認された。PPMを含む状況で4つのPCSPsを使用すると、Fmaxが0.011向上した。
• エンコーダー特徴に最大16までの圧縮比を適用しても、性能低下は顕著ではなく、精度を損なわず、軽量設計が可能となった。