[論文レビュー] Salient Object Detection by LTP Texture Characterization on Opposing Color Pairs under SLICO Superpixel Constraint

Didier Ndayikengurukiye|arXiv (Cornell University)|Apr 13, 2022

Visual Attention and Saliency Detection参考文献 70被引用数 9

ひとこと要約

本論文は、SLICOスーパーピクセル内の補色ペアに局所的三値パターン（LTP）を適用することで、色とテクスチャを統合する、ほぼパラメータフリーな新規サリエンシーディテクションモデルを提案する。複数の色空間（RGB、HSL、LUV、CMY）からのサリエンシーマップをFastMapベースの類似度で統合することで、ECSSDデータセットで最先端の性能を達成し、平均Fβスコアは0.729、MAEは0.257を記録した。

ABSTRACT

The effortless detection of salient objects by humans has been the subject of research in several fields, including computer vision, as it has many applications. However, salient object detection remains a challenge for many computer models dealing with color and textured images. Most of them process color and texture separately and therefore implicitly consider them as independent features which is not the case in reality. Herein, we propose a novel and efficient strategy, through a simple model, almost without internal parameters, which generates a robust saliency map for a natural image. This strategy consists of integrating color information into local textural patterns to characterize a color micro-texture. It is the simple, yet powerful LTP (Local Ternary Patterns) texture descriptor applied to opposing color pairs of a color space that allows us to achieve this end. Each color micro-texture is represented by a vector whose components are from a superpixel obtained by the SLICO (Simple Linear Iterative Clustering with zero parameter) algorithm, which is simple, fast and exhibits state-of-the-art boundary adherence. The degree of dissimilarity between each pair of color micro-textures is computed by the FastMap method, a fast version of MDS (Multi-dimensional Scaling) that considers the color micro-textures’ non-linearity while preserving their distances. These degrees of dissimilarity give us an intermediate saliency map for each RGB (Red–Green–Blue), HSL (Hue–Saturation–Luminance), LUV (L for luminance, U and V represent chromaticity values) and CMY (Cyan–Magenta–Yellow) color space. The final saliency map is their combination to take advantage of the strength of each of them. The MAE (Mean Absolute Error), MSE (Mean Squared Error) and Fβ measures of our saliency maps, on the five most used datasets show that our model outperformed several state-of-the-art models. Being simple and efficient, our model could be combined with classic models using color contrast for a better performance.

研究の動機と目的

• 色とテクスチャ特徴を効果的に統合する、シンプルでほぼパラメータフリーなサリエンシーディテクションモデルの開発。
• 豊富なテクスチャと色を有する複雑な自然画像における顕著オブジェクト検出の課題に対処すること。
• 色情報をローカルテクスチャ記述子に直接統合することで、色とテクスチャを別々に処理するのではなく、サリエンシーマップの品質を向上させること。
• 最小限の設定で効率的なパイプラインを用いて、多様な画像データセットで頑健な性能を達成すること。

提案手法

• RGB、HSL、LUV、CMY色空間における補色ペアに局所的三値パターン（LTP）テクスチャ記述子を適用し、色マイクロテクスチャ特徴を生成する。
• パラメータゼロのSLICOスーパーピクセルを用いて、テクスチャおよび色特徴の集約に適した空間的領域を定義し、強い境界適合性を確保する。
• 特徴ベクトル間の非線形距離を保持する高速なMDSの変種であるFastMapを用いて、マイクロテクスチャ間の類似度を計算する。
• 各色空間ごとに類似度スコアに基づいて個別のサリエンシーマップを生成し、それらを統合して最終的なサリエンシーマップを生成する。
• 性能にほとんど影響を与えない唯一の内部パラメータ（スーパーピクセル数）を採用しており、50、100、200のスーパーピクセル設定においてその影響が明確に示されている。
• ECSSDおよびMSRA10Kデータセットにおける定量的評価に、平均絶対誤差（MAE）およびFβ測定値を用いる。

実験結果

リサーチクエスチョン

• RQ1 色をローカルテクスチャ記述子に直接統合することで、色とテクスチャを別々に処理するのと比較して、サリエンシーディテクション性能が向上するか？
• RQ2 LTPにおける補色ペアの使用が、サリエンシーディテクションのためのテクスチャ特徴化をどのように向上させるか？
• RQ3 SLICOスーパーピクセル手法は、最小限のパラメータチューニングで、頑健かつ効率的な特徴抽出をどの程度サポートするか？
• RQ4 FastMapベースの類似度を用いて複数の色空間からのサリエンシーマップを統合することで、個別の色空間処理よりも優れた結果が得られるか？
• RQ5 最小限のパラメータ調整で、多様な画像の複雑さとデータセットに対して、モデルの安定性はどの程度保たれるか？

主な発見

• 提案モデルはECSSDデータセットで平均Fβスコア0.729、MAE 0.257を達成し、29のSOTAモデルのうち18つを上回った。
• モデルは優れた安定性を示し、MAEの標準偏差が0.071であり、HS（0.108）およびCHS（0.117）モデルと比較して顕著に低い。
• ECSSDデータセットのより複雑な後半（画像500–1000）においても、提案モデルはHSおよびCHSモデルと比較して性能低下が顕著に小さい。
• スーパーピクセル数が50、100、200のいずれであっても、モデルの性能はほとんど変化せず、唯一の内部パラメータに対する高い頑健性を示した。
• LTPにおける補色ペアの使用により、Fβおよび再現率・適合率の指標における個々の寄与が向上し、特にRGB空間で顕著に顕著であった。
• 4つの色空間（RGB、HSL、LUV、CMY）からの結果を統合することで、単一の色空間を用いる場合よりもより頑健な最終サリエンシーマップが得られた。