[論文レビュー] Enhanced-alignment Measure for Binary Foreground Map Evaluation

Deng-Ping Fan, Cheng Gong+4 more|arXiv (Cornell University)|May 26, 2018

Visual Attention and Saliency Detection参考文献 11被引用数 127

ひとこと要約

本論文は、局所的なピクセル整列と画像レベルの統計を同時に捉える、シンプルな二値前景マップ評価指標であるE-measureを提案し、複数のデータセットとメタ指標にわたり、既存の指標より優れたランキング性/一貫性を示す。

ABSTRACT

The existing binary foreground map (FM) measures to address various types of errors in either pixel-wise or structural ways. These measures consider pixel-level match or image-level information independently, while cognitive vision studies have shown that human vision is highly sensitive to both global information and local details in scenes. In this paper, we take a detailed look at current binary FM evaluation measures and propose a novel and effective E-measure (Enhanced-alignment measure). Our measure combines local pixel values with the image-level mean value in one term, jointly capturing image-level statistics and local pixel matching information. We demonstrate the superiority of our measure over the available measures on 4 popular datasets via 5 meta-measures, including ranking models for applications, demoting generic, random Gaussian noise maps, ground-truth switch, as well as human judgments. We find large improvements in almost all the meta-measures. For instance, in terms of application ranking, we observe improvementrangingfrom9.08% to 19.65% compared with other popular measures.

研究の動機と目的

• 局所情報とグローバル情報の両方を考慮する、二値マップ専用の評価指標の必要性を動機づける。
• ピクセルレベルの整列と画像全体の統計を融合する、コンパクトで単一用語の指標を提案する。
• データセット全体でアプリケーションレベルのランキングと人間の判断との一貫性が優れていることを示す。
• 指標と人間の嗜好との相関を評価するための、ランク付けされたマップの新しいデータセットを作成する。

提案手法

• 各マップをそのグローバル平均を中心に配置してバイアスマトリクスを定義し、I ∈ {GT, FM} に対して ϕI = I − μI を得る。
• GTとFMのバイアスマトリクスをハダマード積と正規化を用いて相関させ、整合行列ξを計算する: ξFM = 2ϕGT ◦ ϕFM / (ϕGT ◦ ϕGT + ϕFM ◦ ϕFM)。
• 凸結合写像 f(x) = 1/4 (1 + x)^2 を適用して ξ から強化された整列 φ を得る（φFM = f(ξFM)。）
• 最終的な E-measure QFM を全ピクセルにわたる φFM の平均として定義する: QFM = (1/(wh)) Σx,y φFM(x,y).
• 本指標は画像レベルの統計と局所的なピクセルの一致を同時に捉えると主張し、二値マップの評価を改善する。

実験結果

リサーチクエスチョン

• RQ1 グローバル統計と局所整列を統合した単一用語の指標は、二値前景マップにおける既存のピクセル単位および構造ベースの指標を上回ることができるか。
• RQ2 提案されたE-measureは、複数データセットにおいてアプリケーション結果や人間の判断とより良く一致するランキングを生み出すか。
• RQ3 ノイズ、汎用マップ、グラウンドトゥルースの切替に対して、E-measureは従来指標と比べて頑健か。
• RQ4 新たに作成されたFMDatabaseに基づくE-measureスコアと人間のランキングとの相関はどの程度か。

主な発見

• E-measure は IOU、Fβ/JI、CM、Fbw、VQ、S-measure と比較して、4つのデータセット全体でアプリケーションレベルの出力とのランキング一貫性を一貫して改善する。
• 複数のメタ指標で、E-measure は人間の判断とグラウンドトゥルースベースのランキングへの適合性で優れた性能を示す。
• 著者らは、アプリケーションランキング指標で実質的な改善を報告（例: 一部のベースラインより最大約19%）し、ノイズ識別におけるSOTAより優れている。
• measure-humans alignment を評価するため、human-ranked binary maps を含む新しいデータセット（FMDatabase）がリリースされた。
• 本論文では、構造的な状況の一部で S-measure がわずかに優れているかもしれないと指摘する一方、E-measure は二値マップに特化しており、より信頼性が高く、計算効率も高い。