[論文レビュー] SEVA: Leveraging sketches to evaluate alignment between human and machine visual abstraction

Kushin Mukherjee, Holly Huey+5 more|arXiv (Cornell University)|Dec 5, 2023

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

SEVAは、時間制約によるスパarsityの変動を伴う128のオブジェクト概念にわたる90K件のヒューマン生成スケッチから構成されるベンチマークデータセットを導入し、機械視覚モデルが人間の視覚的抽象化とどの程度一致するかを評価できるようにする。研究では、トップモデルがベースラインモデルよりも人間のスケッチ認識性能および不確実性パターンをよりよく予測しているものの、完全な行動的整合性には大きなギャップが残っていることが明らかになった。

ABSTRACT

Sketching is a powerful tool for creating abstract images that are sparse but meaningful. Sketch understanding poses fundamental challenges for general-purpose vision algorithms because it requires robustness to the sparsity of sketches relative to natural visual inputs and because it demands tolerance for semantic ambiguity, as sketches can reliably evoke multiple meanings. While current vision algorithms have achieved high performance on a variety of visual tasks, it remains unclear to what extent they understand sketches in a human-like way. Here we introduce SEVA, a new benchmark dataset containing approximately 90K human-generated sketches of 128 object concepts produced under different time constraints, and thus systematically varying in sparsity. We evaluated a suite of state-of-the-art vision algorithms on their ability to correctly identify the target concept depicted in these sketches and to generate responses that are strongly aligned with human response patterns on the same sketch recognition task. We found that vision algorithms that better predicted human sketch recognition performance also better approximated human uncertainty about sketch meaning, but there remains a sizable gap between model and human response patterns. To explore the potential of models that emulate human visual abstraction in generative tasks, we conducted further evaluations of a recently developed sketch generation algorithm (Vinker et al., 2022) capable of generating sketches that vary in sparsity. We hope that public release of this dataset and evaluation protocol will catalyze progress towards algorithms with enhanced capacities for human-like visual abstraction.

研究の動機と目的

• 機械視覚モデルが人間の視覚的抽象化と一致する形で、自由なスケッチをどの程度理解できるかを評価するための標準化されたベンチマークを開発すること。
• 最先端のビジョンモデルが、スケッチのスパarsityや意味的曖昧さへの感受性を含め、人間の反応パターンをどの程度再現しているかを調査すること。
• 生成タスク、特に制御されたスパarsityを伴うスケッチ生成において、人間の視覚的抽象化を模倣するモデルの可能性を検討すること。
• 人間らしい視覚的抽象化の統一的計算理論の進展を支援するため、公開データセットと評価プロトコルを提供すること。
• 特に不確実性と文脈的解釈に関して、モデルと人間のスケッチ理解におけるパフォーマンスギャップを特定すること。

提案手法

• 時間制約を変化させることで、スパarsityの系統的変動を引き起こすように、ウェブベースのデジタルインターフェースを用いて128のオブジェクト概念のヒューマン生成スケッチ約9万件を収集する。
• スケッチ作成中に、タイミング、順序、圧力などのストロークレベルのダイナミクスを詳細に記録し、一時的決定プロセスを捉える。
• 収集したデータセットを用いて、最先端のビジョンモデルのスケッチ認識タスクを評価し、人間の反応パターンとの整合性を測定する。
• 正確性に加え、異なるスケッチ抽象化における人間の不確実性と反応変動をモデルがどの程度正しく予測できるかを測定する。
• スケッチ生成モデル（CLIPasso）を用いた追加評価を行い、人間らしい抽象化パターンに適合するスケッチを生成できるかを検証する。
• 再現可能で、モデル間および今後の研究との比較を可能にする標準化された評価プロトコルを含む公開ベンチマークを構築する。

実験結果

リサーチクエスチョン

• RQ1 最先端のビジョンモデルは、スパarsityの異なるスケッチの認識において、人間の反応パターンをどの程度再現しているか？
• RQ2 曖昧またはスパースなスケッチの意味についての人間の不確実性を、モデルが人間の行動と比較してどの程度正しく予測できるか？
• RQ3 生成モデルは、スパarsityと解釈可能性の観点から、人間の視覚的抽象化パターンに適合するスケッチを生成できるか？
• RQ4 多様な抽象化レベルにおけるスケッチ認識において、最良のパフォーマンスを示すモデルと人間の整合性の間のパフォーマンスギャップはどの程度か？
• RQ5 入力モality（例：マウス対スタイラス）、文化的背景、芸術的トレーニングがスケッチ作成および認識行動に与える影響は何か？また、モデルはこのような変動をどのように捉えることができるか？

主な発見

• 人間のスケッチ認識性能をよりよく予測するビジョンモデルは、人間の不確実性パターンともより強く整合しており、意味的曖昧さのモデリングが向上していることが示された。
• 高い認識精度を示しても、最良のパフォーマンスを示すモデルでさえ、特にスパースで曖昧なスケッチの処理において、人間の整合性の基準に達していないことが判明した。
• このデータセットは、時間制約に起因するスケッチのスパarsityの系統的変動を明らかにした。また、異なる抽象化レベルにおける人間の認識パターンに明確な違いが見られた。
• 自然画像で訓練されたモデルは、スケッチ分布への一般化においても、人間の視覚的抽象化と完全な表象的整合性を欠いている。
• CLIPassoスケッチ生成モデルは、人間らしい抽象化を生成する可能性を示したが、重要な点で人間のスケッチ行動とは乖離していることが判明した。
• 本研究は、特に不確実性と文脈的解釈の処理において、モデルと人間の間の行動的整合性の継続的ギャップを浮き彫りにした。