[論文レビュー] Structure-measure: A New Way to Evaluate Foreground Maps

Deng-Ping Fan, Ming‐Ming Cheng+3 more|arXiv (Cornell University)|Aug 2, 2017

Visual Attention and Saliency Detection参考文献 42被引用数 109

ひとこと要約

論文は Structure-measure を導入し、非二値前景マップの領域ごとおよびオブジェクトごとの構造を捉える二部構成の構造的類似度スコアを提案し、複数のデータセットとメタ評価において AP、AUC、Fbw より優れていることを示します。

ABSTRACT

Foreground map evaluation is crucial for gauging the progress of object segmentation algorithms, in particular in the filed of salient object detection where the purpose is to accurately detect and segment the most salient object in a scene. Several widely-used measures such as Area Under the Curve (AUC), Average Precision (AP) and the recently proposed Fbw have been utilized to evaluate the similarity between a non-binary saliency map (SM) and a ground-truth (GT) map. These measures are based on pixel-wise errors and often ignore the structural similarities. Behavioral vision studies, however, have shown that the human visual system is highly sensitive to structures in scenes. Here, we propose a novel, efficient, and easy to calculate measure known an structural similarity measure (Structure-measure) to evaluate non-binary foreground maps. Our new measure simultaneously evaluates region-aware and object-aware structural similarity between a SM and a GT map. We demonstrate superiority of our measure over existing ones using 5 meta-measures on 5 benchmark datasets.

研究の動機と目的

• ピクセル単位の誤差を超え、オブジェクト構造を考慮して前景マップのより信頼できる評価を促進する。
• 領域レベルとオブジェクトレベルの情報を捉える二要素の構造的類似度指標を提案する。
• 提案手法が複数データセットでアプリケーションのランキングや人間の判断とより良く整合することを示す。

提案手法

• GT セントロイド周りに SM と GT を K ブロックに分割し、各ブロックを GT カバレッジでウェイト付けして region-aware 構造的類似度 S_r を定義する。
• 各ブロックに対して SSIM に着想を得た式で region-level 類似度を定義し、S_r = sum_k w_k * ssim(k) の形で集約する。
• 前景と背景の分布を別々に評価することで object-aware 類似度を定義する；平均値と変動係数を用いて O_FG および O_BG を形成する（式 5–8）。
• 最終的なオブジェクト認識型類似度 S_o = μ * O_FG + (1 - μ) * O_BG を計算する。ここで μ は GT 前景領域の比率。
• region-aware と object-aware の指標を結合して最終 Structure-measure S = α * S_o + (1 - α) * S_r を得る。実装では α = 0.5。

Figure 8: Structural changes examples. The first row are GT maps. The second row are its morphologically changed version.

実験結果

リサーチクエスチョン

• RQ1 構造認識型の評価指標は従来のピクセル単位指標より人間の判断やアプリケーションの目的をよりよく反映できるのか。
• RQ2 region-aware 構造要素と object-aware 構造要素は前景マップについて補完的な情報を捉えるのか。
• RQ3 提案手法はデータセットや顕著性モデルを問わず頑健か。

主な発見

• Structure-measure は AP、AUC、Fbw と比較して複数のデータセットにおいて GT やアプリケーションに対する顕著性マップのランキングをより適切に反映する。
• メタ測度 1 では Structure-measure がアプリケーション（SalCut）とのランキング整合性で最高を達成。
• メタ測度 2 では 強力なモデルの出力を一般的なベースラインより好む点でほぼ現行最先端指標を上回る。
• メタ測度 3 では データセット全体で GT スイッチランキングエラーを大幅に低減。
• メタ測度 4 では 注釈境界変更に対する頑健さを示し、しばしば Fbw を上回る。
• ユーザ調査では Structure-measure にランク付けされたマップが人間の嗜好で高く支持されている（100対の研究で 63.69%）。