[논문 리뷰] Detecting People in Cubist Art

Shiry Ginosar, Daniel Haas외 2명|arXiv (Cornell University)|2014. 09. 22.

Visual Attention and Saliency Detection참고 문헌 22인용 수 6

한 줄 요약

이 논문은 파블로 피카소의 입체파 레위르를 대상으로 객체 검출 알고리즘의 성능을 평가하여, 극단적인 시각적 추상화에 대한 내성적 저항력을 테스트한다. 인간 평가자와의 성능을 비교함으로써, 부분 기반 검출기들이 이미지가 더 분할될수록 인간과 유사하게 성능이 저하됨을 발견하였으며, 이는 인간 시각이 부분 기반 객체 표현에 의존한다는 이론을 지지한다.

ABSTRACT

Although the human visual system is surprisingly robust to extreme distortion when recognizing objects, most evaluations of computer object detection methods focus only on robustness to natural form deformations such as people's pose changes. To determine whether algorithms truly mirror the flexibility of human vision, they must be compared against human vision at its limits. For example, in Cubist abstract art, painted objects are distorted by object fragmentation and part-reorganization, to the point that human vision often fails to recognize them. In this paper, we evaluate existing object detection methods on these abstract renditions of objects, comparing human annotators to four state-of-the-art object detectors on a corpus of Picasso paintings. Our results demonstrate that while human perception significantly outperforms current methods, human perception and part-based models exhibit a similarly graceful degradation in object detection performance as the objects become increasingly abstract and fragmented, corroborating the theory of part-based object representation in the brain.

연구 동기 및 목표

• 최신 객체 검출 방법이 입체파 예술과 같은 극단적인 추상화 조건에서 인간의 시각적 내성적 저항력과 동일한 성능을 낼 수 있는지 평가하기 위해.
• 부분 재구성 기능을 허용하는 부분 기반 객체 검출 모델이 통합적 또는 템플릿 기반 모델보다 인간의 인지 방식을 더 잘 모방하는지 테스트하기 위해.
• 객체 검출 성능이 증가하는 이미지 추상화 수준에 따라 어떻게 저하되는지 평가하기 위해, 구체적으로 피카소의 그림을 활용한 벤치마크를 구축하기 위해.
• 인식에 도전하는 조건, 예를 들어 분할되고 재조합된 객체 부분이 있는 상황에서 알고리즘의 성능 저하 패턴이 인간 인지와 유사한지 조사하기 위해.
• 부분 기반 모델이 기존의 딥러닝 또는 템플릿 기반 검출기보다 인간의 시각 처리 방식과 더 잘 일치한다는 증거를 제공하기 위해.

제안 방법

• 사람을 묘사한 피카소의 그림 100점으로 구성된 코퍼스를 수집하고, 사람 검출을 위해 수작업으로 바운딩 박스를 레이블링하였다.
• 사람의 형태를 인식하는 데 있어 인간 평가자의 인지 난이도를 기반으로 그림을 다섯 개의 추상화 수준으로 분류하였다.
• DPM, Poselets, R-CNN, Dalal & Triggs(D&T)의 네 가지 최신 객체 검출기를 각 추상화 수준에서 평가하였다.
• 인간 평가자들이 각 그림의 추상화 수준을 평가하여, 이를 기반으로 데이터셋을 다섯 개의 성능 평가 수준으로 계층화하였다.
• 각 추상화 수준에서 검출기의 정밀도와 재현율을 측정하여 인간 성능과의 저하 패턴을 비교하였다.
• 검출 신뢰도와 부분 활성화 패턴(예: 특징적 패치를 통한 분석)을 분석하여 모델이 증가하는 추상화에 어떻게 반응하는지 이해하고자 하였다.

실험 결과

연구 질문

• RQ1 기존의 객체 검출 모델은 입체파 예술에서 사람의 극단적인 추상화 표현에 대해 인간의 인지 능력과 비교하여 어떻게 성능을 내는가?
• RQ2 이미지의 추상화 수준이 증가함에 따라 부분 기반 객체 검출 모델의 성능 저하 패턴이 인간과 유사한가?
• RQ3 인간이 평가한 추상화 수준과 검출 알고리즘의 성능 저하 사이에 상관관계가 존재하는가?
• RQ4 템플릿 기반 또는 딥러닝 기반의 비부분 기반 모델은 부분 기반 모델과 비교하여 추상화 조건에서 다른 성능 저하 패턴을 보이는가?
• RQ5 자연 이미지에서 학습된 부분 기반 모델은 통계적으로 크게 다른 추상 예술에 일반화될 수 있는가?

주요 결과

• 부분 기반 객체 검출기(DPM, Poselets 등)는 추상화 수준이 증가함에 따라 정밀도와 재현율이 부드럽고 점진적으로 저하되었으며, 인간 평가자의 성능 저하 패턴과 유사하게 나타났다.
• Dalal & Triggs(D&T) 템플릿 기반 검출기는 첫 번째 추상화 수준에서 갑작스럽게 실패하여, 부분 재구성에 대한 내성적 저항력이 떨어지는 것으로 나타났다.
• 인간 성능과 부분 기반 모델이 유사한 점진적 저하 패턴을 보였으며, 이는 객체 인식에서 공통된 기초 메커니즘이 존재할 가능성을 시사한다.
• 인간 평가 추상화 수준과 검출기 성능 저하 간의 상관관계는 부분 기반 모델에서 가장 강하게 나타났으며, 이는 인간 인지와 일치하는 표현 구조를 지녔음을 시사한다.
• 자연 이미지에서 학습된 부분 기반 모델(특징으로 HOG 사용)은 통계적 특성이 크게 다른 입체파 예술에 대해서도 일반화되었으며, 극단적인 형태 왜곡에 대한 내성적 저항력을 보였다.
• 검출 활성화의 시각적 분석 결과, 더 추상적인 이미지에서는 특징적 패치의 신뢰성이 낮아졌으며, 가장 추상적인 수준(5번 버킷)에서는 유일한 참 긍정 활성화만 관찰되었고, 2번 버킷에서는 모든 참 긍정 활성화가 관찰되었다.