[論文レビュー] Saliency Benchmarking: Separating Models, Maps and Metrics

Matthias Kümmerer, Thomas S. A. Wallis+1 more|arXiv (Cornell University)|Apr 27, 2017

Multi-Criteria Decision Making被引用数 7

ひとこと要約

本論文は、注目度モデルと注目度マップを分離する原理的で包括的なベンチマークフレームワークを提案する。モデルは固定化密度予測者として定義され、マップは個別の評価指標に最適化された指標固有の予測である。AUC、sAUC、NSS、CC、SIM、KL-Divの各指標について解析的に最適なマップを導出することで、指標間で一貫したモデル順位付けが可能となり、複数の評価基準にわたる性能のトレードオフが解消される。

ABSTRACT

The field of fixation prediction is heavily model-driven, with dozens of new models published every year. However, progress in the field can be difficult to judge because models are compared using a variety of inconsistent metrics. As soon as a saliency map is optimized for a certain metric, it is penalized by other metrics. Here we propose a principled approach to solve the benchmarking problem: we separate the notions of saliency models and saliency maps. We define a saliency model to be a probabilistic model of fixation density prediction and, inspired by Bayesian decision theory, a saliency map to be a metric-specific prediction derived from the model density which maximizes the expected performance on that metric. We derive the optimal saliency map for the most commonly used saliency metrics (AUC, sAUC, NSS, CC, SIM, KL-Div) and show that they can be computed analytically or approximated with high precision using the model density. We show that this leads to consistent rankings in all metrics and avoids the penalties of using one saliency map for all metrics. Under this framework, good models will perform well in all metrics.

研究の動機と目的

• 複数の対立する指標にわたって同一の注目度マップを使用することによって生じる注目度モデル評価の不整合を解消すること。
• ある指標に最適化すると他の指標の性能が低下するという根本的な問題を克服し、誤ったモデル順位付けを回避すること。
• ベイズ意思決定理論を用いて、モデル学習と指標固有のマップ生成を分離する原理的なフレームワークを確立すること。
• マップ生成を各指標の目的に合わせることで、優れたモデルがすべての標準的指標で一貫して高い順位を獲得することを保証すること。
• 公平で信頼性のある注目度モデルの比較を可能にする、統一的かつ理論的根拠を持つベンチマークシステムを提供すること。

提案手法

• 注目度モデルを、固定化位置の確率的密度関数として定義し、モデルが固定化が発生する可能性の高い場所をどのように信じているかを表現する。
• 注目度マップを、モデル密度から導出される決定論的予測として定義し、特定の指標の期待性能を最大化するために最適化される。
• ベイズ意思決定理論を適用して、各指標（例：AUC、sAUC、NSS、CC、SIM、KL-Div）に対して最適な注目度マップを導出する。これは、期待指標スコアを最大化するマップを求めるものである。
• AUC や NSS といった一般的な指標において、最適マップの解析的解を導出し、KL-Div などの他の指標については数値近似法を用いる。
• 導出されたマップがモデルの元の密度と整合的であることを保証し、モデルの忠実性を保ちながら出力の目的に合わせて調整する。
• 指標固有のマップを用いることで、すべての指標においてモデル順位が一貫することを実証し、競合する評価基準間の性能のトレードオフを解消する。

実験結果

リサーチクエスチョン

• RQ1 複数の評価指標にわたって同一の注目度マップを使用することによって生じる注目度モデルベンチマークの不整合をどのように解消できるか？
• RQ2 固定された注目度モデルが与えられたもとで、主な指標（例：AUC、NSS、CC）に対して理論的に最適な注目度マップは何か？
• RQ3 モデルの密度を用いて、異なる指標の下で最適マップの解析的解または高精度近似解を導出できるか？
• RQ4 モデル学習とマップ生成を分離することで、すべての指標で一貫したモデル順位が得られるか？
• RQ5 このフレームワークは、ある指標に最適化されたマップが他の指標でペナルティを受ける現象を防止できるか？

主な発見

• 提案されたフレームワークは、注目度モデルと注目度マップを明確に分離し、各マップがその目的の指標に独立して最適化可能であることを実現した。
• AUC、sAUC、NSS、CC、SIM に対して、最適マップの解析的解が導出され、近似なしに正確に計算可能となった。
• KL-ダイバージェンスの場合は、モデル密度から最適マップを計算する高精度の数値近似法が開発された。
• 指標固有のマップを用いることで、すべての指標においてモデル順位が一貫し、競合する評価基準間のトレードオフが解消された。
• 本フレームワークに従うモデルは、すべての指標で高いスコアを達成する傾向にあり、アプローチの公平性と信頼性が裏付けられた。
• マップ生成の指標不整合によるモデル性能の不自然なペナルティを回避できるため、より公平で信頼性の高いベンチマークが可能になった。