[論文レビュー] CAT2000: A Large Scale Fixation Dataset for Boosting Saliency Research

Ali Borji, Laurent Itti|arXiv (Cornell University)|May 14, 2015

Visual Attention and Saliency Detection参考文献 9被引用数 218

ひとこと要約

本論文は、120名の被験者を対象に高精度の眼動-trackingを用いて記録した4,000枚の画像を含む大規模な注視点データセットCAT2000を紹介する。このデータセットは、従来の注視性ベンチマークに見られるバイアスを是正し、ランダム、ばらばら、社会的シーンなど多様な刺激を含めることで、中心寄りのバイアスや低変動性の刺激にとどまらないモデルの性能を検証する。これにより、複雑で意味的豊富な、または中心寄りでないカテゴリにおいて、既存モデルに顕著な性能差が生じることが明らかになった。

ABSTRACT

Saliency modeling has been an active research area in computer vision for about two decades. Existing state of the art models perform very well in predicting where people look in natural scenes. There is, however, the risk that these models may have been overfitting themselves to available small scale biased datasets, thus trapping the progress in a local minimum. To gain a deeper insight regarding current issues in saliency modeling and to better gauge progress, we recorded eye movements of 120 observers while they freely viewed a large number of naturalistic and artificial images. Our stimuli includes 4000 images; 200 from each of 20 categories covering different types of scenes such as Cartoons, Art, Objects, Low resolution images, Indoor, Outdoor, Jumbled, Random, and Line drawings. We analyze some basic properties of this dataset and compare some successful models. We believe that our dataset opens new challenges for the next generation of saliency models and helps conduct behavioral studies on bottom-up visual attention.

研究の動機と目的

• 小規模でバイアスがかかる注視点データセットと限られた刺激の多様性による注視性モデルの過学習リスクを低減する。
• 中心寄りバイアスを低減するため、注視点が中心に偏らない、意味的豊富で人工的な画像カテゴリ（例：ばらばら、ランダム、社会的シーン）を含める。
• 注視性モデルの強固な評価とボトムアップおよびトップダウン注視の行動研究を支援する大規模で高品質な眼動-trackingデータセットを提供する。
• モデルが見たことのない画像と保持済みの被験者による注視点を用いた、実世界の展開を模倣した訓練およびテストプロトコルを可能にする。
• 低レベル特徴を超えて意味的、トップダウン的、非視覚的注視の手がかりを考慮する次世代の注視性モデルの開発を促進する。

提案手法

• Eyelink-1000眼動トラッカーを用いて120名の被験者から眼動画像データを収集し、5点キャリブレーションを実施することで、時間的・空間的精度を確保した。
• 自然風景、コマics、線画、フラクタル、ノイズ、低解像度、ランダムビュー画像を含む20カテゴリにわたり、合計4,000枚の画像を収集した。
• 検索エンジンを用いた制御された画像収集、キュレート済みデータセット（例：Caltech256, SUN, Eitz）の利用、画像パーツのランダムシャッフルによるばらばら画像の作成を実施した。
• 速度（35°/s以上）および加速度（9500°/s²以上）の閾値を用いた標準化されたサッケード検出により、一貫性のある注視点ラベル付けを実現した。
• モデル評価のため、訓練用（カテゴリ1つあたり100枚、18名の被験者）とテスト用（カテゴリ1つあたり100枚、全24名の被験者の注視点を除外）にデータセットを分割した。
• 注視点予測の正確性を評価する標準指標である正規化スキャンパス注視性（NSS）を用い、カテゴリおよび被験者平均で測定した。

実験結果

リサーチクエスチョン

• RQ1 注視性の手がかり（例：ボトムアップ対トップダウン）が異なる多様な画像カテゴリにおけるモデル性能はどのように変化するか？
• RQ2 現在の注視性モデルは、注視点が中心に偏らない、もしくは意味的に複雑な刺激（例：社会的シーン、ばらばら画像）に対してどの程度一般化できるか？
• RQ3 異なる画像カテゴリにおける被験者間の一貫性（注視点パターン）はどの程度で、それがモデル性能とどのように相関するか？
• RQ4 中心寄りバイアスと画像コンテンツの分布は、既存ベンチマークにおける注視性モデル評価の信頼性にどのように影響するか？
• RQ5 大規模かつ多様なデータセットは、バイアスがかかる既存のデータセット上での最先端技術を超えて、過学習の低減とモデルの一般化性能の向上を実現できるか？

主な発見

• スケッチおよびオブジェクトカテゴリでは高い性能を達成した（スケッチカテゴリでNSSで1位）。一方、線画、ばらばら、社会的、および衛星画像カテゴリでは顕著に低いスコアを記録した。
• ITTI、HouCVPR、GBVS、AWSモデルは、被験者間一貫性モデルより顕著に低いスコアを記録しており、人間の注視行動をモデル化する面でギャップがあることが示された。
• 中心寄りバイアスが高いカテゴリ（例：Affective、Black & White、Sketch）では被験者間一貫性（IOスコア）が高く、一方ばらばらおよび衛星画像カテゴリでは一貫性が低かった。
• 1枚の画像あたりの平均サッケード数は5秒間の視認時間で約20回であり、標準誤差は約6回であった。これは被験者間で安定した視認行動が観察されたことを示している。
• このデータセットには合計24,148,768個のサッケードと240時間の合計視認時間が含まれており、大規模かつ高精細な眼動-trackingコロケーションを形成している。
• モデルはトップダウン的手がかり（例：社会的シーンにおける視線の向き）や非視覚的コンテンツ（例：ランダムまたは逆転画像）に対し苦労しており、意味的理解の限界が示唆された。