[論文レビュー] Exploiting Color Name Space for Salient Object Detection

Jing Lou, Huan Wang+5 more|arXiv (Cornell University)|Mar 27, 2017

Visual Attention and Saliency Detection参考文献 48被引用数 3

ひとこと要約

この論文では、画像を11の確率的色名チャネルに変換することで、ボトムアップの顕著オブジェクト検出を向上させる、色名空間を活用する新しい顕著オブジェクト検出モデルを提案する。周囲の領域との対比を考慮した局所的特徴に加え、グローバルな色名ベースのコントラストと改善された後処理ステップを統合することで、3つの公的データセットにおいて21の既存モデルを上回る性能を達成した。

ABSTRACT

In this paper, we will investigate the contribution of color names for the task of salient object detection. An input image is first converted to color name space, which is consisted of 11 probabilistic channels. By exploiting a surroundedness cue, we obtain a saliency map through a linear combination of a set of sequential attention maps. To overcome the limitation of only using the surroundedness cue, two global cues with respect to color names are invoked to guide the computation of a weighted saliency map. Finally, we integrate the above two saliency maps into a unified framework to generate the final result. In addition, an improved post-processing procedure is introduced to effectively suppress image backgrounds while uniformly highlight salient objects. Experimental results show that the proposed model produces more accurate saliency maps and performs well against twenty-one saliency models in terms of three evaluation metrics on three public data sets.

研究の動機と目的

• 言語的色名が顕著オブジェクト検出に与える寄与を調査し、従来の低レベル特徴にとどまらない枠組みを提示すること。
• 特に、画像の境界に接続されているオブジェクトや背景と色が似通ったオブジェクトを処理する際の、周囲の領域に基づく顕著度モデルの限界を解消すること。
• グローバルな色名統計と形態的後処理を統合することで、顕著領域を一様に強調する高品質な顕著マップを実現すること。
• トップダウンの事前知識や複雑なディープラーニングアーキテクチャに依存せずに、検出精度を向上させる堅牢なボトムアップフレームワークの構築を目的とする。

提案手法

• 入力画像を11チャネルの色名空間に変換し、各画素が言語的色（例：赤、青、緑）に属する確率を表現する。
• 色名空間における周囲の領域の特徴に基づいて得られる順次アテンションマップの線形結合を用いて、顕著マップを計算する。
• 重み付き顕著マップの導出を支援する2つのグローバルヒント（グローバルな色名のレアリティと領域内色名コントラスト）を導入し、顕著オブジェクトの検出を向上させる。
• 周囲の領域に基づく顕著マップとグローバルヒントに基づく顕著マップを統合し、統一されたフレームワークとして出力する。
• 形態的クロージングおよび再構成操作を用いた改善された後処理パイプラインを適用し、背景を抑制するとともに、顕著領域を一様に強調する。
• 経験的に調整されたパラメータを有する固定半径の形態的演算を用いて顕著マップを精緻化するが、論文では今後の方向性として適応性の向上を指摘している。

実験結果

リサーチクエスチョン

• RQ1 言語的色名（意味的色表現）を用いることで、従来の低レベル特徴を超えて顕著オブジェクト検出の性能を向上させられるか？
• RQ2 グローバルな色名統計を統合することで、周囲の領域に基づく顕著度モデルの性能がどの程度向上するか？
• RQ3 提案された後処理手順が、検出された顕著領域の一様性と明瞭性をどの程度改善するか？
• RQ4 画像の境界に接続されている、または背景と色が似通ったオブジェクトのような困難なケースにおいて、モデルの性能はいかがなものか？
• RQ5 色名空間に基づくボトムアップで、ディープラーニングを用いないモデルが、標準ベンチマークで最先端の手法を上回る性能を示せるか？

主な発見

• 提案モデルは、3つの公的データセットにおいて、F-measure、平均絶対誤差（MAE）、S_measureという3つの評価指標で、21の既存モデルを上回った。
• グローバルな色名ヒントの統合により、特に前景と背景の色が類似している場合に顕著度検出の精度が著しく向上した。
• 改善された後処理ステップにより、背景領域が効果的に抑制されるとともに、顕著オブジェクトの強度が高く一様に保たれ、後続のセグメンテーションタスクに有利に働くことが確認された。
• 大規模な顕著オブジェクトに対しては強い性能を示したが、固定された形態的カーネルサイズのため、小さなオブジェクトの検出には苦慮した。
• 薄い人工的な境界によって画像の境界に接続されている顕著オブジェクトは検出に失敗したため、背景事前知識やトップダウンのヒントの導入が今後の課題である。
• アブレーションスタディの結果、周囲の領域とグローバルな色名ヒントの組み合わせが最良の性能を示し、提案された統合フレームワークの有効性が裏付けられた。