[論文レビュー] A Simple Pooling-Based Design for Real-Time Salient Object Detection

Jiangjiang Liu, Qibin Hou+3 more|arXiv (Cornell University)|Apr 21, 2019

Visual Attention and Saliency Detection参考文献 48被引用数 4

ひとこと要約

この論文では、グローバルガイドランスモジュール（GGM）と特徴集約モジュール（FAM）の2つのプーリングベースのモジュールを用いて特徴の精練を向上させる、リアルタイムの顕著オブジェクト検出モデルであるPoolNetを提案する。この手法は、300×400の画像で30 FPSを超える推論速度を達成し、精度と詳細の保持の両面で従来の手法を著しく上回る最先端の性能を発揮する。

ABSTRACT

We solve the problem of salient object detection by investigating how to expand the role of pooling in convolutional neural networks. Based on the U-shape architecture, we first build a global guidance module (GGM) upon the bottom-up pathway, aiming at providing layers at different feature levels the location information of potential salient objects. We further design a feature aggregation module (FAM) to make the coarse-level semantic information well fused with the fine-level features from the top-down pathway. By adding FAMs after the fusion operations in the top-down pathway, coarse-level features from the GGM can be seamlessly merged with features at various scales. These two pooling-based modules allow the high-level semantic features to be progressively refined, yielding detail enriched saliency maps. Experiment results show that our proposed approach can more accurately locate the salient objects with sharpened details and hence substantially improve the performance compared to the previous state-of-the-arts. Our approach is fast as well and can run at a speed of more than 30 FPS when processing a $300 imes 400$ image. Code can be found at http://mmcheng.net/poolnet/.

研究の動機と目的

• U字型畳み込みニューラルネットワークアーキテクチャにおけるプーリングの役割を再考することで、顕著オブジェクト検出を改善すること。
• 特徴ピラミッドネットワークのトップダウン経路における高レベルの意味的情報の希釈を解消すること。
• プーリングベースのメカニズムを用いて、粗い意味的特徴と細粒度の詳細を効果的に統合すること。
• 検出精度を損なわず、リアルタイムの推論速度を達成すること。
• エッジ検出と共同学習することで、顕著マップの境界をより鋭くすることを探索すること。

提案手法

• グローバルガイドランスモジュール（GGM）は、バックボーンの上部に変更を加えたピラミッドプーリングモジュール（PPM）を用い、グローバルなコンテキストを捉え、全特徴レベルにグローバルガイドランスフロー（GGF）を生成する。
• GGFは、深層から浅層へ高レベルの意味的情報を伝達することで、標準的なU字型ネットワークにおける位置情報の希釈を是正する。
• 特徴集約モジュール（FAM）は、トップダウン経路での特徴統合後に挿入され、プーリングを用いてマルチスケールのコンテキストを捉えることで、統合された特徴を再重み付け・精錬する。
• FAMは、統合された特徴を複数の特徴空間に変換することで、粗い意味的情報とマルチスケール特徴をより効果的に統合する。
• 境界の鋭さを向上させるために、エッジ検出ブランチを併用するか否かで、エンドツーエンドでモデルを学習する。
• アーキテクチャはプラグアンドプレイであり、任意のピラミッドベースのCNNバックボーンと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 プーリング技術をダウンサンプリングの範囲を越えて、顕著オブジェクト検出における特徴表現の向上に系統的に拡張できるか？
• RQ2 信号の劣化を伴わずに、高レベルの意味的情報を浅層に効果的に伝達できるか？
• RQ3 プーリングベースのメカニズムを用いて、粗い意味的マップと細粒度の特徴の特徴統合を改善できるか？
• RQ4 エッジ検出と共同学習することで、予測された顕著マップの品質と鋭さが向上するか？
• RQ5 単純なプーリングベースの設計が、リアルタイムの推論速度を維持しながら最先端の性能を達成できるか？

主な発見

• PoolNetは、F-measureとMAEの両面で6つのベンチマークデータセットで最高の性能を発揮し、すべての従来の最先端手法を上回った。
• DUT-OMRONデータセットでは、ResNet-50を用いたPoolNetがF-measure 0.925、MAE 0.034を達成し、前回の最高記録を1.5%以上上回った。
• 300×400の画像では30 FPSを超える速度で動作し、従来の手法（例：PiCANetは7 FPS）と比べて著しく高速であった。
• HKU-ISデータセットでは、標準的なエッジ検出と共同学習することで、MAEが最大12%低下し、境界の局所化精度が向上した。
• アブレーションスタディの結果、GGMとFAMの両方が性能向上に顕著な貢献をしていることが確認され、GGMはグローバルコンテキストの獲得に、FAMはマルチスケール統合に重要であることが示された。
• ResNet-50を用いた場合、5,000枚の画像で6時間未満で学習が完了し、効率的なプーリングベースの設計のおかげで、多数の従来手法よりも高速であった。