[논문 리뷰] The Cross-Depiction Problem: Computer Vision Algorithms for Recognising Objects in Artwork and in Photographs

Hongping Cai, Qi Wu외 2명|arXiv (Cornell University)|2015. 05. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 31

한 줄 요약

이 논문은 컴퓨터 비전에서 다양한 예술적 스타일(예: 그림, 드로잉, 사진) 간의 객체 인식 문제인 크로스디피크션 문제를 조사한다. 현재의 방법, 특히 딥러닝 기법이 비사진적 묘사에서 성능 저하를 겪는다는 것을 입증한다. 주요 발견은 공간적 부분 관계와 구조적 레이아웃에 초점을 맞춘 모델가 시각적 외관 기반 방법보다 우수한 성능을 보이며, 이는 크로스디피크션 인식에서 구조적 추상화가 시각적 외관보다 더 견고하다는 것을 시사한다.

ABSTRACT

The cross-depiction problem is that of recognising visual objects regardless of whether they are photographed, painted, drawn, etc. It is a potentially significant yet under-researched problem. Emulating the remarkable human ability to recognise objects in an astonishingly wide variety of depictive forms is likely to advance both the foundations and the applications of Computer Vision. In this paper we benchmark classification, domain adaptation, and deep learning methods; demonstrating that none perform consistently well in the cross-depiction problem. Given the current interest in deep learning, the fact such methods exhibit the same behaviour as all but one other method: they show a significant fall in performance over inhomogeneous databases compared to their peak performance, which is always over data comprising photographs only. Rather, we find the methods that have strong models of spatial relations between parts tend to be more robust and therefore conclude that such information is important in modelling object classes regardless of appearance details.

연구 동기 및 목표

• 사진, 그림, 드로잉와 같은 다양한 예술적 표현 방식 간의 객체 인식이 가능한 컴퓨터 비전 분야에서 다소 간과된 크로스디피크션 문제를 규명하고 해결하는 것.
• 새로운 이질적인 데이터셋을 기반으로 기존의 분류, 도메인 적응, 딥러닝 기법들을 평가하여 다양한 묘사 스타일 간의 견고함을 평가하는 것.
• 사진 데이터에서는 뛰어난 성능를 보이는 최첨단 인식 모델들이 비사진적 예술 작품에서 성능 저하가 심각하게 발생하는 이유를 규명하는 것.
• 객체 부분 간의 공간적 관계와 구조적 요소가 시각적 외관 특징보다 더 견고한 기반으로 작용할 수 있는지 탐색하는 것.
• 크로스디피크션 견고성 달성을 위한 기초로 공간 레이아웃과 구조적 추상화 모델링을 중심으로 하는 새로운 연구 방향을 제안하는 것.

제안 방법

• 사진과 예술적 묘사 간에 균형 잡힌 다양한 예시를 포함하는 50개 및 100개의 객체 클래스를 가진 두 개의 새로운 데이터셋인 Photo-Art-50과 Photo-Art-100을 구축하였다.
• HOG-BoW, DPM, M-Graph, 그리고 딥러닝 모델(예: ResNet, VGG)을 포함한 다양한 방법을 두 데이터셋 모두에서 평가하여 도메인 간 성능를 비교하였다.
• 데포머블 파트 모델(DPM)과 M-Graph와 같은 부분 기반 모델을 사용하여 객체 부분 간 기하학적 관계를 명시적으로 인코딩하였다.
• 형태의 정성적 추상화와 그래프 기반 표현을 적용하여 구조와 레이아웃을 모델링함으로써 특정 시각적 외관에 의존하지 않는 인식을 가능하게 하였다.
• 사진 데이터로 학습한 모델을 예술적 묘사에 대해 테스트하여 묘사 스타일 간 일반화 능력을 측정하였다.
• 실사 사진에서 비사진적 렌더링 기법을 적용하여 스타일이 가미된 이미지를 생성함으로써, 구조적 추상화가 인식 가능성을 유지하는지 검증하였다.

실험 결과

연구 질문

• RQ1 현재의 컴퓨터 비전 모델, 특히 딥러닝 기법이 같은 객체의 사진 이미지에서 예술적 묘사로의 일반화 능력은 어느 정도인가?
• RQ2 견고한 크로스디피크션 객체 인식에 있어 가장 중요한 시각적 특징은 무엇인가? (외관, 형태, 또는 공간적 구조)
• RQ3 객체 부분 간의 공간적 관계를 명시적으로 인코딩한 모델이 외관 기반 모델보다 크로스디피크션 상황에서 더 우수한 성능를 보일 수 있는가?
• RQ4 딥러닝 모델은 사진 데이터에서는 뛰어난 성능를 보이지만, 왜 예술적 묘사에서는 성능 저하가 심각하게 발생하는가?
• RQ5 다양한 묘사 스타일 간의 객체 인식에서, 시각적 외관 모델링과 구조적 추상화 모델링 사이에 본질적인 상충 관계가 존재하는가?

주요 결과

• 모든 테스트된 방법, 특히 HOG-BoW와 같은 외관 기반 모델을 포함한 딥러닝 모델까지도 사진 데이터에서 예술적 묘사로의 전환 시 심각한 성능 저하를 겪는다.
• 강력한 공간 모델링 기능을 가진 모델—예를 들어 DPM과 M-Graph—는 크로스디피크션에 대해 더 높은 견고성을 보이며, 이는 공간적 레이아웃이 저수준의 시각적 특징보다 더 신뢰할 수 있음을 시사한다.
• 부분 간 복잡한 공간 관계를 인코딩하는 M-Graph 모델은 예술적 묘사에서 DPM 및 기타 방법보다 뛰어난 성능를 보이며, 이는 구조적 추상화가 일반화 능력을 향상시킨다는 것을 시사한다.
• 성능 저하의 유일한 예외는 [59]에서 제안한 방법으로, 노드당 다중 레이블을 사용하여 외관과 구조를 동시에 모델링한 것으로, 명시적인 구조적 모델링이 견고성의 핵심이라는 것을 시사한다.
• 딥러닝 기법은 Photo-Art-50에서 사진 데이터로 학습하고 테스트할 경우 높은 정확도를 달성하지만, 예술 작품에 대해 테스트할 경우 성능 저하가 심각하게 발생함을 보이며, 이는 크로스디피크션에 대해 본질적으로 견고하지 않음을 시사한다.
• 결과는 사람들이 특정 외관을 매칭함으로써 객체를 인식하는 것이 아니라, 구조적이고 공간적인 구성 요소를 인지함으로써 객체를 인식한다는 것을 시사하며, 현재의 모델들은 이를 효과적으로 모방하지 못하고 있다.