[論文レビュー] Visual Saliency Based on Multiscale Deep Features

Guanbin Li, Yizhou Yu|arXiv (Cornell University)|Mar 30, 2015

Visual Attention and Saliency Detection参考文献 33被引用数 259

ひとこと要約

本論文では、事前学習済み畳み込みニューラルネットワーク（CNN）から得られるマルチスケール深層特徴を活用して、高い精度でサリエンシーマップを予測する深層学習ベースの視覚的サリエンシー・モデルを提案する。ネストされた画像領域からのマルチスケール特徴の統合、回帰のための全結合層、空間的一致性の最適化、マルチレベルセグメンテーション統合によって、最先端の性能を達成し、HKU-ISという新しい大規模ベンチマークデータセットにおいてF-Measureを13.2%向上、MAEを35.1%低減した。

ABSTRACT

Visual saliency is a fundamental problem in both cognitive and computational sciences, including computer vision. In this CVPR 2015 paper, we discover that a high-quality visual saliency model can be trained with multiscale features extracted using a popular deep learning architecture, convolutional neural networks (CNNs), which have had many successes in visual recognition tasks. For learning such saliency models, we introduce a neural network architecture, which has fully connected layers on top of CNNs responsible for extracting features at three different scales. We then propose a refinement method to enhance the spatial coherence of our saliency results. Finally, aggregating multiple saliency maps computed for different levels of image segmentation can further boost the performance, yielding saliency maps better than those generated from a single segmentation. To promote further research and evaluation of visual saliency models, we also construct a new large database of 4447 challenging images and their pixelwise saliency annotation. Experimental results demonstrate that our proposed method is capable of achieving state-of-the-art performance on all public benchmarks, improving the F-Measure by 5.0% and 13.2% respectively on the MSRA-B dataset and our new dataset (HKU-IS), and lowering the mean absolute error by 5.7% and 35.1% respectively on these two datasets.

研究の動機と目的

• 事前学習済みCNN特徴を用いて、マルチスケールの文脈的対比を効果的に捉える深層学習ベースの視覚的サリエンシー・モデルの開発。
• 既存のサリエンシー・モデルの限界を克服するため、空間的一致性とマルチレベル画像セグメンテーションを統合して、局所化精度とロバスト性を向上させる。
• 4,447枚の画像とピクセル単位のサリエンシー付加ラベルを備えた、新しい大規模で挑戦的なベンチマークデータセット（HKU-IS）を構築し、先進的なサリエンシー研究を支援する。
• 事前学習済みImageNetネットワークからのマルチスケール深層特徴が、従来のハンドクラフト特徴よりも顕著に効果的であることを示す。

提案手法

• 各画像領域の周囲に3つのネストされた長方形ウィンドウ（領域自体、直近の隣接領域、および全体画像）を用いて、マルチスケールCNN特徴を抽出する。
• 連結されたマルチスケールCNN特徴から、ラベル付きサリエンシーマップで学習した全結合ニューラルネットワークを用いて、サリエンシー得点を回帰する。
• 空間的一致性の最適化モジュールを適用して、予測されたサリエンシーマップの滑らかさと構造的一致性を向上させる。
• 15段階の画像セグメンテーションから得られるサリエンシーマップを統合することで、検出精度とロバスト性を向上させる。
• F-Measureと平均絶対誤差（MAE）の最適化を目的として、多数のアノテート済みサリエンシーマップを用いた回帰損失に基づき、エンドツーエンドのモデルを訓練する。
• 豊富な意味的情報を有する階層的表現を活用するため、事前学習済みImageNet CNNを特徴抽出器として採用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNからのマルチスケール深層特徴は、従来の手法と比較して、視覚的サリエンシー予測を顕著に改善できるか？
• RQ2 空間的一致性とマルチレベル画像セグメンテーションの統合は、サリエンシー予測の精錬にどの程度効果的か？
• RQ3 マルチスケール特徴は、領域の対比と意味的文脈をどの程度効果的に捉え、より良いサリエンシー推定に寄与するか？
• RQ4 深層学習ベースのサリエンシー・モデルの性能は、より複雑で多様かつ挑戦的なデータセットにおいて、どのようにスケーリングされるか？
• RQ5 新しい大規模ベンチマークデータセット（HKU-IS）は、最先端のサリエンシー・モデルの評価と発展をより効果的に支援できるか？

主な発見

• 提案手法は、2番目に優れた手法と比較して、新しいHKU-ISデータセットにおいてF-Measureを13.2%向上させ、顕著に優れた性能を示した。
• MSRA-Bデータセットにおいて、F-Measureは5.0%向上、MAEは5.7%低減した。
• 挑戦的なHKU-ISデータセットにおいて、MAEは35.1%低減され、複数の注目対象を含む複雑なシーンでも優れた性能を示した。
• 空間的一致性の最適化を適用することで、精度と再現率の両方が向上し、視覚的および定量的にもサリエンシーマップの滑らかさと正確性が明確に向上した。
• 15段階のセグメンテーションから得られるサリエンシーマップを統合することで、最高の単一レベルセグメンテーションと比較して、平均精度が2.15%向上、再現率が3.47%向上した。
• アブレーションスタディにより、マルチスケール特徴ベクトルの3つの構成要素（A、B、C）が相補的であることが確認され、S-3CNN特徴セット全体が最良の性能を達成した。