[論文レビュー] Structured Modeling of Joint Deep Feature and Prediction Refinement for Salient Object Detection

Yingyue Xu, Dan Xu+5 more|arXiv (Cornell University)|Sep 10, 2019

Visual Attention and Saliency Detection参考文献 51被引用数 8

ひとこと要約

本稿では、エンド・トゥ・エンドのバックプロパゲーションを伴う段階的条件付きランダムフィールドを用いて、マルチスケール畳み込みニューラルネットワーク特徴量とサリエンシー予測を統合的に精錬する深層統合CRFモデルを提案する。スケール間で特徴量同士、特徴量と予測、予測同士のメッセージパッシングを統合することで、ECSSDデータセット上でFスコア0.928を達成し、後処理CRFや独立したメッセージパッシング機構を用いる先行手法を上回る最先端の性能を達成した。

ABSTRACT

Recent saliency models extensively explore to incorporate multi-scale contextual information from Convolutional Neural Networks (CNNs). Besides direct fusion strategies, many approaches introduce message-passing to enhance CNN features or predictions. However, the messages are mainly transmitted in two ways, by feature-to-feature passing, and by prediction-to-prediction passing. In this paper, we add message-passing between features and predictions and propose a deep unified CRF saliency model . We design a novel cascade CRFs architecture with CNN to jointly refine deep features and predictions at each scale and progressively compute a final refined saliency map. We formulate the CRF graphical model that involves message-passing of feature-feature, feature-prediction, and prediction-prediction, from the coarse scale to the finer scale, to update the features and the corresponding predictions. Also, we formulate the mean-field updates for joint end-to-end model training with CNN through back propagation. The proposed deep unified CRF saliency model is evaluated over six datasets and shows highly competitive performance among the state of the arts.

研究の動機と目的

• 特徴量同士や予測同士のメッセージパッシングにとどまらず、特徴量と予測の間でクロスモダリティのメッセージパッシングを導入することで、従来のサリエンシー・モデルが有する制限を是正すること。
• 構造的メッセージパッシングにより、深層特徴量と予測の間の相互依存性を強化することで、モデルの学習効率と表現品質を向上させること。
• CNNと統合可能なエンド・トゥ・エンド学習が可能な統合CRFフレームワークを構築し、平均場近似を用いて特徴量と予測を同時にモデル化すること。
• 粗いスケールから細かいスケールへと段階的にマルチスケール表現を精錬することで、サリエンス・オブジェクト検出において最先端の性能を達成すること。

提案手法

• 各スケールにおけるCRFブロックを段階的CRFアーキテクチャとして設計し、前段のスケールからの特徴量と予測を観測変数として用い、現在のスケールにおける精錬済みの特徴量と予測を推論する。
• 特徴量同士、特徴量と予測、予測同士の3種類のメッセージパッシングを導入し、これらを統一されたCRFグラフィカルモデルに統合する。
• CNNバックボーンとのエンド・トゥ・エンドのバックプロパゲーション学習を可能にするために、CRF推論に平均場近似を採用する。
• 粗いスケールから細かいスケールへと段階的に精錬を進める階層的・段階的カスケードフローを採用する。
• CRFブロックをCNNベースのサリエンス検出フレームワークに統合し、CNNとCRFのパラメータを同時に最適化可能にする。
• CRFにおけるペairwiseポテンシャルにガウスカーネルを適用し、スケール間でパラメータを共有し、バックプロパゲーション中に最適化する。

実験結果

リサーチクエスチョン

• RQ1 特徴量と予測の間の統合的メッセージパッシングが、独立した特徴量または予測の精錬を上回るサリエンシー検出性能を実現できるか？
• RQ2 特徴量と予測の相互作用を統合することで、深層サリエンス・モデルにおける学習効率と表現品質が向上するか？
• RQ3 特徴量と予測を同時にモデル化する統合CRFフレームワークが、後処理CRFや別個の精錬モジュールを用いる手法よりも優れた性能を達成できるか？
• RQ4 特徴量から予測、および予測から特徴量へのメッセージパッシングの導入が、エンド・トゥ・エンド学習の収束性と安定性に与える影響は何か？

主な発見

• 提案された深層統合CRFモデルは、ECSSDデータセットでFスコア0.928を達成し、ベースライン（0.884）およびDSS（+）やMSRといった最先端手法を顕著に上回った。
• 特徴量から予測へのメッセージパッシングを単独で追加すると、Fスコアは0.884から0.904に上昇し、特徴量品質の向上が有効であることが示された。
• CRFを用いたエンド・トゥ・エンド学習により、予測マップのFスコアは、予測同士のメッセージパッシングのみを用いた場合に0.899（ベースライン＋CRF）から0.921に向上した。
• 特徴量同士、特徴量と予測、予測同士の3種類のメッセージパッシングを併用した完全なモデルが最高の性能を達成し、クロスモダリティ精錬の有効性が裏付けられた。
• 特徴量と予測の間のメッセージパッシングを含めた学習では、訓練損失の低下が著しく速く進行し、学習効率と最適化ダイナミクスの向上が示された。
• 1枚あたりの推論時間は約0.48秒であり、後処理Dense-CRFを用いるDSSと同等の推論オーバーヘッドであり、実用的であることが確認された。