[論文レビュー] LCNN: Low-level Feature Embedded CNN for Salient Object Detection

Hongyang Li, Huchuan Lu+3 more|arXiv (Cornell University)|Aug 17, 2015

Visual Attention and Saliency Detection参考文献 15被引用数 13

ひとこと要約

本稿では、Salient Object Detectionのための深層畳み込みニューラルネットワークであるLCNNを提案する。このネットワークは、CNNによって学習された高レベルの意味的特徴と、対照度や空間的ヒントといった低レベルの特徴を統合する。これらの特徴を連結し、ヘッジ損失SVMを用いて統合的判別学習を実施することで、MSRA-5000、PASCAL-S、ECCSDのベンチマークで最先端の性能を達成し、Fスコアと平均絶対誤差の両面で先行手法を上回った。

ABSTRACT

In this paper, we propose a novel deep neural network framework embedded with low-level features (LCNN) for salient object detection in complex images. We utilise the advantage of convolutional neural networks to automatically learn the high-level features that capture the structured information and semantic context in the image. In order to better adapt a CNN model into the saliency task, we redesign the network architecture based on the small-scale datasets. Several low-level features are extracted, which can effectively capture contrast and spatial information in the salient regions, and incorporated to compensate with the learned high-level features at the output of the last fully connected layer. The concatenated feature vector is further fed into a hinge-loss SVM detector in a joint discriminative learning manner and the final saliency score of each region within the bounding box is obtained by the linear combination of the detector's weights. Experiments on three challenging benchmark (MSRA-5000, PASCAL-S, ECCSD) demonstrate our algorithm to be effective and superior than most low-level oriented state-of-the-arts in terms of P-R curves, F-measure and mean absolute errors.

研究の動機と目的

• CNNから得られる高レベルの意味的特徴と、低レベルの視覚的ヒントを統合することで、複雑な画像における顕著なオブジェクト検出を改善すること。
• 前景と背景の色やテクスチャが類似している複雑なシーンにおいて、手作業で設計された低レベルの事前知識の限界を是正すること。
• 統合的学習フレームワークを通じて低レベル特徴と深層特徴を統合することで、判別能力を向上させること。
• 既存の低レベル特徴および深層学習ベースの顕著性検出手法と比較して、ベンチマークデータセットで優れた性能を達成すること。

提案手法

• 小規模なデータセット上で微調整されたCNNアーキテクチャを用いて、候補バウンディングボックス内の画像パッチから高レベルの意味的特徴を抽出する。
• 各領域から対照度および空間的記述子という低レベル特徴を抽出し、局所的な強度および構造的差異を捉える。
• 高レベルCNN特徴と低レベル記述子を連結し、各領域ごとに1つの特徴ベクトルを生成する。
• 連結された特徴に対してヘッジ損失SVMを訓練し、各領域を前景または背景に分類する。顕著性スコアはSVMの信頼度重みから導出される。
• 最終的な顕著性マップは、選択的サーチによって生成された初期バウンディングボックスに対応するすべての候補領域のSVM信頼度スコアを合算することで生成される。
• エンドツーエンドの統合的判別学習により、特徴表現と分類精度の両方を最適化する、全体のパイプラインを訓練する。

実験結果

リサーチクエスチョン

• RQ1 低レベル特徴と深層CNN特徴を統合することで、複雑なシーンにおける顕著性検出が向上するか？
• RQ2 高レベルの意味的特徴と低レベルのヒントを統合的に学習させることで、ベンチマークデータセット上の性能にどのような影響を与えるか？
• RQ3 対照度と空間的低レベル特徴のうち、どちらが検出精度の向上により寄与しているか？
• RQ4 深層特徴と低レベル事前知識を組み合わせた際、ヘッジ損失SVMが顕著領域を効果的に判別できるか？
• RQ5 Fスコアおよび平均絶対誤差の観点から、LCNNは最先端の手法と比較してどのように差をつけるか？

主な発見

• ECCSDデータセットにおいてLCNNは最高のFスコア0.712を達成し、比較されたすべての手法を上回った。
• PASCAL-SではMAEが0.164という最低水準を記録し、顕著性予測の精度が優れていることを示した。
• MSRA-5000ではFスコア0.79、MAE 0.12を達成し、トップパフォーマンスを示す手法の一つとなった。
• アブレーションスタディの結果、対照度特徴が空間的特徴よりも顕著に寄与しており、両者の組み合わせが最良の性能をもたらした。
• ヘッジ損失SVMデテクタの導入により、特に再現率が低い領域でも性能が著しく向上した。これは、より優れた判別的学習が可能になったためである。
• 可視化比較の結果、LCNNは背景と色やテクスチャが類似している場合でも顕著オブジェクトを効果的に検出できており、単に低レベル特徴やオブジェクトネスに依存する手法を上回った。