[論文レビュー] Self-explanatory Deep Salient Object Detection

Huaxin Xiao, Jiashi Feng+2 more|arXiv (Cornell University)|Aug 18, 2017

Visual Attention and Saliency Detection参考文献 40被引用数 9

ひとこと要約

本論文は、マルチレベル特徴を統合するために密な短距離および長距離接続を用いることで性能を向上させる最初の自己説明可能な深層顕著オブジェクト検出ネットワーク（SENet）を提案する。同時に、特徴の寄与度を可視化し、モデルの意思決定を解釈可能にする自己説明ジェネレータを導入している。本手法は、5つのベンチマークデータセットで最先端の性能を達成し、精度と境界保持性が向上している。

ABSTRACT

Salient object detection has seen remarkable progress driven by deep learning techniques. However, most of deep learning based salient object detection methods are black-box in nature and lacking in interpretability. This paper proposes the first self-explanatory saliency detection network that explicitly exploits low- and high-level features for salient object detection. We demonstrate that such supportive clues not only significantly enhances performance of salient object detection but also gives better justified detection results. More specifically, we develop a multi-stage saliency encoder to extract multi-scale features which contain both low- and high-level saliency context. Dense short- and long-range connections are introduced to reuse these features iteratively. Benefiting from the direct access to low- and high-level features, the proposed saliency encoder can not only model the object context but also preserve the boundary. Furthermore, a self-explanatory generator is proposed to interpret how the proposed saliency encoder or other deep saliency models making decisions. The generator simulates the absence of interesting features by preventing these features from contributing to the saliency classifier and estimates the corresponding saliency prediction without these features. A comparison function, saliency explanation, is defined to measure the prediction changes between deep saliency models and corresponding generator. Through visualizing the differences, we can interpret the capability of different deep neural networks based saliency detection models and demonstrate that our proposed model indeed uses more reasonable structure for salient object detection. Extensive experiments on five popular benchmark datasets and the visualized saliency explanation demonstrate that the proposed method provides new state-of-the-art.

研究の動機と目的

• 深層学習ベースの顕著オブジェクト検出モデルに解釈可能性の欠如があるという問題に対処すること。これらのモデルは一般的にブラックボックスとされる。
• 多スケール特徴の再利用を通じて、低レベル特徴と高レベル特徴を明示的に活用することで、検出性能を向上させること。
• 特定の特徴が欠落している状況をシミュレートすることで、モデルがなぜ特定の顕著性予測を行うのかを解明するメカニズムを開発すること。
• 重要な特徴を含む・含まない予測を比較することで、モデルの挙動を視覚的に解釈可能にする仕組みを提供すること。
• 提案手法が従来の手法よりもより合理的かつ妥当な特徴構造を用いていることを示すこと。

提案手法

• マルチステージ顕著エンコーダーを設計し、密な短距離および長距離接続を用いて、低レベルの詳細と高レベルの文脈を統合する。
• 短距離接続は、異なる残差ブロック（例：res4b22、res3b3）からのアップサンプリング特徴を低レベル特徴と連結することで実装される。
• 長距離接続は、各ステージ全体の間接的特徴を密に連結することで確立され、特徴の再利用と文脈モデリングを強化する。
• 各ステージの後にコンテキストブロックを導入し、密接続を通す前に特徴を精錬することで、表現品質を向上させる。
• 特定の特徴をマスクしてそれらの欠落をシミュレートする自己説明ジェネレータを提案する。
• 顕著性の説明は、元の予測とマスク済み予測の差分として計算され、特徴の重要度を可視化する。

実験結果

リサーチクエスチョン

• RQ1 密接続による低レベルおよび高レベル特徴の明示的統合が、顕著オブジェクト検出性能を向上させることができるか？
• RQ2 特徴欠落のシミュレーションによって、自己説明ジェネレータが深層顕著性モデルの意思決定プロセスを効果的に解釈できるか？
• RQ3 異なる接続パターン（短距離対長距離、密接続対疎接続）が、モデル性能および特徴の利用に与える影響は何か？
• RQ4 提案手法は、従来の最先端モデルと比較して、境界保持性および検出精度をどの程度向上させているか？
• RQ5 可視化された顕著性の説明は、従来のモデルと比較して、より合理的かつ妥当な特徴利用を明らかにできるか？

主な発見

• 提案されたSENetは、5つのベンチマークデータセットで最先端の性能を達成し、PASCAL-Sで密接続とコンテキストブロックを用いた場合のF-measureが0.864に達した。
• アブレーションスタディの結果、密な長距離接続を追加することで、疎接続よりもFωが0.9%向上し、コンテキストブロックの導入で1.2%の性能向上が確認された。
• すべての密接続とコンテキストブロックを備えたモデル（表IIIのNo.11）は、PASCAL-SでFωが0.864に達し、ベースラインから3.4%の向上を達成した。
• 自己説明ジェネレータは、画像のどの領域が顕著性予測を支援または抑制しているかを効果的に可視化し、従来のモデルよりもより合理的な特徴利用を示した。
• 1枚のGPUで1枚あたり0.25秒の推論時間であり、DCL（1.1秒）より高速で、DSS（0.21秒）と同等の速度であり、CRFの後処理を必要としない。
• 失敗事例では、注目を引く強い視覚的干渉（例：黒いネズミ）を持つ顕著でないオブジェクトに対してモデルが苦労しており、強力な視覚的誘導の処理に限界があることが示された。