[論文レビュー] Progressive Feature Polishing Network for Salient Object Detection

Bo Wang, Quan Chen+4 more|arXiv (Cornell University)|Nov 14, 2019

Visual Attention and Saliency Detection被引用数 10

ひとこと要約

本稿では、特徴量研磨モジュール（FPMs）を用いて、再帰的かつ並列的に複数レベルの特徴量を段階的に精錬する、シンプルでありながら効果的なフレームワークであるプログレッシブ・フェーチャー・ポリッシュング・ネットワーク（PFPN）を提案する。各段階で高レベルの意味的特徴量を直接的にすべての低レベル特徴量に統合することにより、長期的依存問題を軽減し、後処理を伴わず5つのベンチマークデータセットで最先端の性能を達成する。性能は研磨ステップを増やすに従い単調に向上する。

ABSTRACT

Feature matters for salient object detection. Existing methods mainly focus on designing a sophisticated structure to incorporate multi-level features and filter out cluttered features. We present Progressive Feature Polishing Network (PFPN), a simple yet effective framework to progressively polish the multi-level features to be more accurate and representative. By employing multiple Feature Polishing Modules (FPMs) in a recurrent manner, our approach is able to detect salient objects with fine details without any post-processing. A FPM parallelly updates the features of each level by directly incorporating all higher level context information. Moreover, it can keep the dimensions and hierarchical structures of the feature maps, which makes it flexible to be integrated with any CNN-based models. Empirical experiments show that our results are monotonically getting better with increasing number of FPMs. Without bells and whistles, PFPN outperforms the state-of-the-art methods significantly on five benchmark datasets under various evaluation metrics.

研究の動機と目的

• 間接的な多層特徴量統合に起因する情報損失および長期的依存問題に起因する、従来の顕著オブジェクト検出手法の限界を解消すること。
• 複雑なアーキテクチャの変更なしに、あらゆるレベルの特徴量表現の質を向上させる、シンプルで汎用性の高いフレームワークを開発すること。
• 反復的特徴量精錬により直接的に高精度な予測を達成することで、後処理（例：DenseCRF）の必要性を排除すること。
• 特徴量精錬中に階層的構造と次元を保持し、任意のCNNベースのバックボーンとシームレスに統合可能にすること。

提案手法

• PFPNは、複数の特徴量研磨モジュール（FPMs）を逐次的に適用する再帰的アーキテクチャを採用し、多層特徴量を段階的に精錬する。
• 各FPMは、高レベルの意味的特徴量を低レベル特徴量に直接統合することで、すべての特徴量レベルを並列に更新し、元の次元と階層構造を保持する。
• FPMの設計は、カスケード型またはスカイプ接続に基づく特徴量集約を避けることで、U-Net や再帰的精錬アプローチで一般的に見られる長期的依存問題を軽減する。
• バックボーンとFPM間の特徴量次元を整合させるために、トランジションモジュール（TMs）を用いる。これにより、全レベルで互換性が保証される。
• FPM内の特徴量統合は、要素ごとの連結と畳み込みによって実行され、シンプルさを保ちつつ効果的な情報伝達を可能にする。
• ネットワーク全体はエンド・ツー・エンドで学習可能であり、DenseCRFのような後処理を必要とせず、モデルが直接高品質な顕著マップを学習する。

実験結果

リサーチクエスチョン

• RQ1 複雑なアーキテクチャを用いずに、シンプルな再帰的特徴量精錬機構が、顕著オブジェクト検出における多層表現の質を向上させられるか？
• RQ2 複数段階にわたる特徴量の段階的研磨が、検出精度および詳細回復に与える影響は何か？
• RQ3 すべての低レベル特徴量に高レベル意味的特徴量を直接統合することで、間接的または逐次的特徴量集約手法を上回る性能が得られるか？
• RQ4 本手法により、DenseCRFのような後処理技術の必要性はどの程度軽減されるか？
• RQ5 研磨ステップ数が性能に与える影響は何か？また、反復回数を増やすことで性能は収束するか？

主な発見

• 2つのFPMを搭載したPFPNは、5つのベンチマークデータセットで最先端の性能を達成し、MAE、max F、mean F、Sを含む複数の指標で16のSOTA手法を上回る。
• FPMの数を増やすに従い、モデルの性能は単調に向上する。特にT=0からT=1の間で最大の向上が観察され、T=3を超えるとわずかな改善にとどまる。
• DenseCRFを用いない状態でも、他のDenseCRFを併用する手法よりも優れた結果を達成しており、本手法の優れた内在的特徴量学習能力を示している。
• FPM間で重みを共有すると、個別重みを用いた場合に比べて性能が低下する。これは、段階に特化した精錬がより効果的であることを示している。
• 可視化結果から、各研磨ステップを経るごとに顕著マップが段階的に鋭くなり、より正確になることが確認され、細部やごみだらけの領域が体系的に精錬されている。