[論文レビュー] Agile Amulet: Real-Time Salient Object Detection with Contextual Attention

Pingping Zhang, Luyao Wang+3 more|arXiv (Cornell University)|Feb 20, 2018

Visual Attention and Saliency Detection参考文献 57被引用数 20

ひとこと要約

本稿では、文脈的アテンションモジュールを用いて特徴量学習をガイドし、新しいマルチレベル特徴量集約法を採用することで、モデルサイズと計算量を低減する軽量でリアルタイムな顕著オブジェクト検出フレームワークである Agile Amulet を提案する。本手法は 30 fps の推論速度、67 MB のモデルサイズを達成し、7つのベンチマークで最先端の性能を示し、速度と精度の両面で従来手法を上回る。

ABSTRACT

This paper proposes an Agile Aggregating Multi-Level feaTure framework (Agile Amulet) for salient object detection. The Agile Amulet builds on previous works to predict saliency maps using multi-level convolutional features. Compared to previous works, Agile Amulet employs some key innovations to improve training and testing speed while also increase prediction accuracy. More specifically, we first introduce a contextual attention module that can rapidly highlight most salient objects or regions with contextual pyramids. Thus, it effectively guides the learning of low-layer convolutional features and tells the backbone network where to look. The contextual attention module is a fully convolutional mechanism that simultaneously learns complementary features and predicts saliency scores at each pixel. In addition, we propose a novel method to aggregate multi-level deep convolutional features. As a result, we are able to use the integrated side-output features of pre-trained convolutional networks alone, which significantly reduces the model parameters leading to a model size of 67 MB, about half of Amulet. Compared to other deep learning based saliency methods, Agile Amulet is of much lighter-weight, runs faster (30 fps in real-time) and achieves higher performance on seven public benchmarks in terms of both quantitative and qualitative evaluation.

研究の動機と目的

• リソース制約のあるデバイスでも特に高い計算コストと遅い推論速度を示す従来のディープラーニングベースの顕著性検出手法の課題に対処すること。
• 検出精度を維持または向上させながら、モデルの複雑さとパラメータ数を低減すること。
• アテンションガイドドの監視によって特徴量学習を加速させることで、学習効率を向上させること。
• 標準的なGPU、さらにはCPU（3.51 fps）でもリアルタイム推論（30 fps）を実現することにより、実世界の応用への展開を可能にすること。
• 複雑で冗長なアーキテクチャに依存せずに、多様なベンチマークで高いパフォーマンスを維持する軽量フレームワークの開発

提案手法

• 特徴量マップと以前の予測値からマルチスケールの文脈的ピラミッドを生成する文脈的アテンションモジュールを導入し、顕著領域を強調する。
• トップダウンアテンションを用いて、オブジェクト関連の領域に注目させることで、低レベルの畳み込み特徴量学習をガイドする。
• 事前学習済みバックボーン（例：VGG-16）のサイドアウトプット特徴量のみを用いた、新しい反復的特徴量集約法を採用し、追加の統合モジュールの必要性を排除する。
• 再帰的予測を用いて段階的に顕著マップを精緻化し、単一ステップ予測と比較して一貫性とパフォーマンスを向上させる。
• 任意のCNN層の間でアテンションと集約モジュールを統合した、完全畳み込み型でエンドツーエンドで訓練可能なアーキテクチャを設計する。
• 事前学習済み特徴量を直接活用することで、学習可能なパラメータ数を削減し、学習および推論を高速化する。

実験結果

リサーチクエスチョン

• RQ1 文脈的アテンション機構は、深層ネットワークにおける特徴量学習をガイドすることで、顕著オブジェクト検出の効率性と精度を向上させることができるか？
• RQ2 マルチレベル特徴量集約を単純化することで、パフォーマンスを損なわせずにモデルサイズと計算量を低減できるか？
• RQ3 事前学習済みバックボーンのサイドアウトプット特徴量のみを用いることで、高速な学習および推論が可能になり、SOTAの精度を維持できるか？
• RQ4 提案手法は、標準的なハードウェア上でリアルタイム推論（≥30 fps）を達成できるか？ また、既存手法を上回る性能を示せるか？
• RQ5 トップダウンアテンションと文脈的ピラミッドの統合は、ボトムアップまたは単一スケールアテンションと比較して、検出パフォーマンスにどのように影響を与えるか？

主な発見

• Agile Amulet は単一GPUで30.2 fpsの推論速度を達成し、Amulet（15.4 fps）やDSS（2.1 fps）を大きく上回り、リアルタイム展開を可能にする。
• 追加パラメータを回避する効率的な特徴量集約のおかげで、モデルサイズが67 MBにまで低減され、Amulet（126 MB）の約半分にまで小さくなった。
• 7つの公開ベンチマークにおいて、Agile Amulet は最先端のパフォーマンスを達成し、F-measureスコアとしてECSSDで0.887、HKU-ISで0.861、PASCAL-Sで0.794を記録し、従来手法を上回った。
• 学習時間はAmuletの107時間から22時間に短縮され、5倍の高速化が達成された。主にアテンションモジュールがオブジェクト関連特徴量学習を加速させたためである。
• アブレーションスタディの結果、トップダウンアテンションに文脈的ピラミッドを組み合わせることで、ベースラインから4%のパフォーマンス向上が確認されたが、ボトムアップアテンションでは改善が見られなかった。
• ResNet-50をバックボーンとして用いることで、精度がさらに向上（ECSSDでのF-measure：0.912）し、本手法の強力な特徴量との互換性およびスケーラビリティを示した。