[論文レビュー] Do Saliency Models Detect Odd-One-Out Targets? New Datasets and Evaluations

Iuliia Kotseruba, Calden Wloka+2 more|arXiv (Cornell University)|May 13, 2020

Visual Attention and Saliency Detection被引用数 11

ひとこと要約

本稿では、視覚的注意のコアな側面であるシングルトン検出を評価するための2つの新しいデータセット—P3（心理物理学的パターン）とO3（自然な1つだけが異なる刺激）—を導入する。広範なテストにもかかわらず、ほぼすべての古典的および深層学習ベースのサリエンシー・モデルは、1つだけが異なるターゲットを信頼性高く検出できないままであり、P3 や O3 で訓練データを拡張しても、性能向上はわずかにとどどまる。これは、人間の類似注意メカニズムをモデル化する上で深刻なギャップを露呈している。

ABSTRACT

Recent advances in the field of saliency have concentrated on fixation prediction, with benchmarks reaching saturation. However, there is an extensive body of works in psychology and neuroscience that describe aspects of human visual attention that might not be adequately captured by current approaches. Here, we investigate singleton detection, which can be thought of as a canonical example of salience. We introduce two novel datasets, one with psychophysical patterns and one with natural odd-one-out stimuli. Using these datasets we demonstrate through extensive experimentation that nearly all saliency algorithms do not adequately respond to singleton targets in synthetic and natural images. Furthermore, we investigate the effect of training state-of-the-art CNN-based saliency models on these types of stimuli and conclude that the additional training data does not lead to a significant improvement of their ability to find odd-one-out targets. Datasets are available at http://data.nvision2.eecs.yorku.ca/P3O3/.

研究の動機と目的

• サリエンシー・モデルの1つだけが異なるターゲット検出に対する体系的評価の欠如に取り組むこと。これは、視覚的注意分野における代表的なタスクである。
• 現在のサリエンシー・モデルが、合成画像および自然画像の両方の設定において、シングルトンターゲットを効果的に検出できるかどうかを調査すること。
• P3 および O3 という新しい1つだけが異なるターゲットを含むデータセットを用いて、深層学習ベースのサリエンシー・モデルを訓練した際の性能への影響を評価すること。
• 視覚探索タスクにおける人間の視覚的注意とアルゴリズム的性能との間の、持続的なギャップを特定すること。

提案手法

• P3（色・方向のシングルトンを含む心理物理学的に検証済みの合成刺激）とO3（自然画像に1つだけが異なるターゲットを含む）という2つの新しいデータセットを提案した。
• モデル評価のための基準となるデータを確保するため、P3 および O3 の刺激に対して人間の注視点データを収集した。
• AUC-Judd、CC、KLDiv、NSS、SIM、およびターゲット/背景の平均サリエンシー比といった標準的な指標を用いて、P3、O3、MIT1003 データセット上で15種類の古典的および深層学習ベースのサリエンシー・モデルを評価した。
• MLNet および SALICON という2つの最先端の畳み込みニューラルネットワーク（CNN）ベースのモデルを、元の訓練データに加えてP3およびO3データを組み合わせて訓練し、汎化性と性能向上の有無を評価した。
• O3 および P3 の完全な注視マップが入手できない状況において、ターゲットのバイナリマスクを人間の注視点の代理として用いた。
• P3 と O3 データの影響を分離するためのアブレーションスタディを実施し、モデルの汎化性および1つだけが異なるターゲット検出能力への影響を特定した。

実験結果

リサーチクエスチョン

• RQ1 古典的および深層学習ベースのサリエンシー・モデルは、合成画像および自然画像の刺激において、1つだけが異なるターゲットを信頼性高く検出できるか？
• RQ2 P3 および O3 データセットを用いてサリエンシー・モデルの訓練データを拡張することで、シングルトンターゲットの検出能力が顕著に向上するか？
• RQ3 AUC、CC、および NSS の観点から、サリエンシー・モデルのP3およびO3における性能指標は、人間の注視パターンとどの程度一致しているか？
• RQ4 CNNベースのモデルは、P3 および O3 データから、MIT1003 などの標準ベンチマークにどの程度一般化できるか？
• RQ5 1つだけが異なるターゲット検出タスクにおいて、人間の視覚的注意とアルゴリズム的サリエンシーとの間には、定量的および定性的にどのような相違があるか？

主な発見

• 古典的サリエンシー・モデルはP3刺激において、深層学習ベースのモデルを上回る性能を示しており、現在のCNNベースのアプローチが特徴に基づくシングルトン検出に最適化されていないことを示唆している。
• O3データでMLNetおよびSALICONを訓練した場合、O3テスト画像において最高の性能が得られ、MSR_target > MSR_background となった。これは、ターゲットの識別が向上したことを示している。
• P3 または O3 で訓練データを拡張しても、MIT1003 における注視点予測精度の向上はわずかにとどまり、AUC-Judd値は全モデルで0.02未満の上昇にとどまった。
• 最も包括的な性能は、元の訓練データにO3データを追加した場合に得られ、MLNetではAUC-Juddが0.82、OSIEでは0.86を記録した。
• O3データで訓練したSALICONおよびOSIEモデルは、ターゲットのサリエンシー比（MSR_target > 0.9）が、P3データで訓練したモデル（MSR_target ≈ 0.44–0.46）に比べて顕著に高く、ターゲットの識別が優れていることがわかった。
• 広範な訓練にもかかわらず、P3データに限定して訓練したモデルは全体的に最も成績が悪く、AUC-Juddが0.51、NSSが0.13にとどまり、人間の注視パターンとの整合性が著しく低いことが示された。