[논문 리뷰] SEVA: Leveraging sketches to evaluate alignment between human and machine visual abstraction

Kushin Mukherjee, Holly Huey외 5명|arXiv (Cornell University)|2023. 12. 05.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

SEVA는 시간 제약로 인해 다양한 흐린 정도를 보이는 128개의 물체 개념에 대해 9만 건의 인간이 생성한 스케치로 구성된 벤치마크 데이터셋을 소개한다. 이는 기계 시각 모델이 인간의 시각적 추상화 방식과 얼마나 유사하게 작동하는지 평가할 수 있도록 한다. 연구 결과, 최상위 모델은 베이스라인 모델보다 인간의 스케치 인식 성능과 불확실성 패턴을 더 잘 예측하지만, 여전히 전체 행동적 일치성에서 큰 격차가 존재한다.

ABSTRACT

Sketching is a powerful tool for creating abstract images that are sparse but meaningful. Sketch understanding poses fundamental challenges for general-purpose vision algorithms because it requires robustness to the sparsity of sketches relative to natural visual inputs and because it demands tolerance for semantic ambiguity, as sketches can reliably evoke multiple meanings. While current vision algorithms have achieved high performance on a variety of visual tasks, it remains unclear to what extent they understand sketches in a human-like way. Here we introduce SEVA, a new benchmark dataset containing approximately 90K human-generated sketches of 128 object concepts produced under different time constraints, and thus systematically varying in sparsity. We evaluated a suite of state-of-the-art vision algorithms on their ability to correctly identify the target concept depicted in these sketches and to generate responses that are strongly aligned with human response patterns on the same sketch recognition task. We found that vision algorithms that better predicted human sketch recognition performance also better approximated human uncertainty about sketch meaning, but there remains a sizable gap between model and human response patterns. To explore the potential of models that emulate human visual abstraction in generative tasks, we conducted further evaluations of a recently developed sketch generation algorithm (Vinker et al., 2022) capable of generating sketches that vary in sparsity. We hope that public release of this dataset and evaluation protocol will catalyze progress towards algorithms with enhanced capacities for human-like visual abstraction.

연구 동기 및 목표

• 기계 시각 모델이 인간의 시각적 추상화 방식과 유사하게 자유형 스케치를 이해할 수 있도록 평가할 수 있는 표준화된 벤치마크를 개발하는 것.
• 최신 기술의 시각 모델이 스케치 인식 과정에서 인간의 반응 패턴을 얼마나 잘 재현하는지, 특히 스케치의 흐린 정도와 의미의 모호성에 대한 민감도를 조사하는 것.
• 특히 스케치 생성 과제에서 인간의 시각적 추상화 방식을 모방하는 모델의 잠재력을 탐색하는 것, 특히 제어된 흐린 정도를 가진 스케치 생성에 초점한다.
• 통합된 인간과 유사한 시각적 추상화 이론의 발전을 지원하기 위해 공개된 데이터셋과 평가 프로토콜를 제공하는 것.
• 특히 불확실성과 맥락적 해석 측면에서 인간과 모델 간의 성능 격차를 규명하는 것.

제안 방법

• 시간 제약를 다양하게 설정하여 웹 기반 디지털 인터페이스를 통해 128개의 물체 개념에 대해 약 9만 건의 인간이 생성한 스케치를 수집하여 스케치의 흐린 정도에 체계적인 변동을 유도하는 것.
• 스케치 생성 과정 중에 스트로크 수준의 동적 정보(예: 시간, 순서, 압력)를 기록하여 순간적인 의사결정 과정을 캡처하는 것.
• 수집된 데이터셋을 활용해 최신 기술의 시각 모델이 스케치 인식 과제를 수행하도록 평가하여 인간의 반응 패턴과의 일치도를 측정하는 것.
• 정확도 외에도 인간의 불확실성과 다양한 스케치 추상화 수준에서의 반응 변동성을 예측할 수 있는 능력까지 모델 성능을 측정하는 것.
• 스케치 생성 모델(CLIPasso)에 대한 추가 평가를 수행하여 인간과 유사한 추상화 패턴을 보이는 스케치를 얼마나 잘 생성하는지 평가하는 것.
• 모델 간 재현 가능한 비교와 향후 연구를 가능하게 하기 위해 표준화된 평가 프로토콜을 포함한 공개 벤치마크를 구축하는 것.

실험 결과

연구 질문

• RQ1 최신 기술의 시각 모델은 다양한 흐린 정도를 가진 스케치를 인식할 때 인간의 반응 패턴을 얼마나 잘 재현하는가?
• RQ2 모델는 인간의 의미 모호성 또는 흐린 스케치에 대한 불확실성에 대해 인간 행동과 비교해 얼마나 잘 예측하는가?
• RQ3 생성 모델은 흐린 정도와 해석 가능성 측면에서 인간의 시각적 추상화 패턴과 일치하는 스케치를 생성할 수 있는가?
• RQ4 다양한 추상화 수준에서 스케치 인식 과제에서 최고 성능을 내는 모델과 인간의 일관성 간의 성능 격차는 어느 정도인가?
• RQ5 입력 모odal(예: 마우스 대비 스타일러스), 문화적 배경, 예술 교육 유무가 스케치 제작 및 인식 행동에 영향을 미치는가? 그리고 모델는 이러한 변동을 어떻게 고려할 수 있는가?

주요 결과

• 인간의 스케치 인식 성능을 더 잘 예측한 시각 모델일수록 인간의 불확실성 패턴과도 더 강한 일치를 보였으며, 이는 의미의 모호성에 대한 모델링 능력 향상을 시사한다.
• 스케치 인식 과제에서 높은 정확도를 보였음에도 불구하고, 최고 성능의 모델들조차도 인간의 일관성 기준에 비해 흐린 스케치나 모호한 스케치 처리에서 여전히 뒤처지고 있었다.
• 데이터셋은 시간 제약로 인해 스케치의 흐린 정도에 체계적인 변동이 있음을 드러냈으며, 다양한 추상화 수준에서 인간의 인식 패턴 간 명확한 차이가 존재했다.
• 자연 이미지에서 학습한 모델들 역시 여전히 인간의 시각적 추상화와 완전한 표현적 일치를 이루지 못하며, 특히 스케치 분포로의 일반화 과정에서 문제가 있다.
• CLIPasso 스케치 생성 모델은 인간과 유사한 추상화 패턴을 생성할 잠재력을 보였지만, 핵심적인 측면에서 인간의 스케치 제작 행동과는 여전히 차이가 있었다.
• 연구는 특히 불확실성과 맥락 해석을 어떻게 다루는지에 있어 모델와 인간 간의 지속적인 행동적 일치 격차를 드러냈다.