[논문 리뷰] SpatialSense: An Adversarially Crowdsourced Benchmark for Spatial Relation Recognition

Kaiyu Yang, Olga Russakovsky외 1명|arXiv (Cornell University)|2019. 08. 07.

Multimodal Machine Learning Applications참고 문헌 40인용 수 4

한 줄 요약

SpatialSense는 간단한 시각적 및 언어적 사전 지식에 기반한 편향을 줄이기 위해 어려운 긴 꼬리 분포 관계에 초점을 맞춘, 새로운 적대적 커뮤니티 기반 벤치마크를 제안한다. 이 데이터셋은 11,569장의 이미지에 걸쳐 총 17,498개의 공간 관계를 포함하며, 양성 및 음성 샘플이 균형 잡혀 있어 최신 모델들이 성능을 크게 떨어뜨리는 것으로 나타나, 진정한 공간 추론이 아닌 표면적인 단서에 의존하고 있음을 시사한다.

ABSTRACT

Understanding the spatial relations between objects in images is a surprisingly challenging task. A chair may be "behind" a person even if it appears to the left of the person in the image (depending on which way the person is facing). Two students that appear close to each other in the image may not in fact be "next to" each other if there is a third student between them. We introduce SpatialSense, a dataset specializing in spatial relation recognition which captures a broad spectrum of such challenges, allowing for proper benchmarking of computer vision techniques. SpatialSense is constructed through adversarial crowdsourcing, in which human annotators are tasked with finding spatial relations that are difficult to predict using simple cues such as 2D spatial configuration or language priors. Adversarial crowdsourcing significantly reduces dataset bias and samples more interesting relations in the long tail compared to existing datasets. On SpatialSense, state-of-the-art recognition models perform comparably to simple baselines, suggesting that they rely on straightforward cues instead of fully reasoning about this complex task. The SpatialSense benchmark provides a path forward to advancing the spatial reasoning capabilities of computer vision systems. The dataset and code are available at https://github.com/princeton-vl/SpatialSense.

연구 동기 및 목표

• 언어적 및 시각적 사전 지식을 피하는 엄격한 벤치마크 부족 문제를 해결하기 위해.
• 적대적 커뮤니티 기반 기법을 통해 데이터셋 편향을 줄이기 위해, 익명화 또는 오해의 소지가 있는 예제를 찾도록 분석자들을 지시한다.
• 양성 및 음성 공간 관계가 균형 잡힌 장기 꼬리 분포 데이터셋을 만들기 위해, 진정한 추론 능력을 평가할 수 있도록 한다.
• 객체 검출을 공간 관계 인식에서 분리하기 위해, 객체 이름과 바운딩 박스를 입력으로 제공한다.
• 현재 모델들이 2D 레이아웃과 언어 패턴을 넘어서는 복잡한 공간 구성 요소를 이해하는 데에 한계를 드러내는 벤치마크를 제공하기 위해.

제안 방법

• 적대적 커뮤니티 기반 기법: 인간 분석자가 2D 레이아웃이나 언어적 사전 지식으로 예측하기 어려운 공간 관계를 식별하도록 명시적으로 지시한다.
• 각 관계는 양성 또는 음성으로 레이블링되어 있어, 클래스 분포가 50/50이 되도록 하여 모델의 다수 클래스에 대한 편향을 방지한다.
• 이 작업은 이진 분류 문제로 제안되며, 두 개의 객체 이름과 바운딩 박스가 주어졌을 때 특정 공간 관계가 성립하는지 예측하는 것이다.
• 표준화된 어노테이션을 위해 사전 정의된 9개의 공간 전치사(예: 'on', 'under', 'in front of')를 사용하여 모호성을 줄인다.
• 객체 위치 및 이름을 입력으로 제공함으로써, 공간 관계 인식과 객체 검출을 분리한다.
• 모델들은 희귀 객체 클래스에 대한 일반화 능력 평가가 가능하며, 총 3,679개의 객체 클래스 중 2,139개는 단 한 번만 나타난다.

실험 결과

연구 질문

• RQ1 적대적 커뮤니티 기반 기법이 공간 관계 인식 데이터셋의 편향을 효과적으로 줄일 수 있는가?
• RQ2 최신 모델들이 진정한 공간 추론이 아닌 단순한 시각적 또는 언어적 단서에 얼마나 의존하는가?
• RQ3 객체 클래스의 장기 꼬리 분포가 공간 관계 인식에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 양성/음성 샘플의 균형 잡힌 분포가 모델 성능 평가의 신뢰성에 기여하는가?
• RQ5 careful하게 선별된 적대적 예제를 포함한 벤치마크가 현재 비전 모델의 공간 이해 능력에 대한 한계를 더 잘 드러내는가?

주요 결과

• 최신 모델들이 SpatialSense에서 단순한 베이스라인과 유사한 성능을 보이며, 진정한 공간 추론이 아닌 표면적인 단서에 의존하고 있음을 시사한다.
• 이 데이터셋은 11,569장의 이미지에 걸쳐 총 17,498개의 관계를 포함하며, 3,679개의 고유한 객체 클래스가 있으며, 그 중 2,139개는 단 한 번만 나타난다. 이는 강력한 장기 꼬리 분포를 형성한다.
• 적대적 커뮤니티 기반 기법은 언어 편향을 효과적으로 줄였다. Visual Genome와 같은 데이터셋은 'on' 관계가 지배적이며, 테이블과 연관된 관계에서 89.37%를 차지한다.
• 벤치마크는 모델이 3D 구성으로 인해 시각적으로 오른쪽에 있더라도 앞에 있는지 판단하는 등의 미세한 공간 추론 작업에서 실패하는 것으로 드러났다.
• 균형 잡힌 양성/음성 샘플을 포함한 이진 분류 형식은 이전 연구에서 사용된 Recall@K 지표보다 더 신뢰할 수 있는 평가를 가능하게 한다.
• 기존 벤치마크 대비 SpatialSense에서 훈련된 모델들은 성능 저하가 심각하게 나타나, 이 데이터셋의 과제의 난이도와 타당성을 입증한다.