[논문 리뷰] The Met Dataset: Instance-level Recognition for Artworks

Nikolaos-Antonios Ypsilantis, Noa García외 4명|arXiv (Cornell University)|2022. 02. 03.

Generative Adversarial Networks and Image Synthesis인용 수 15

한 줄 요약

이 논문은 40만 장의 스튜디오 조건 이미지와 분포 이탈이 있는 1,100장의 방문자 촬영 테스트 이미지를 포함한 대규모이고 청소된 예술 작품의 인스턴스 수준 인식을 위한 벤치마크인 The Met 데이터셋을 소개한다. 자기지도 학습과 지도 학습 기반 대비 학습을 조합한 kNN 분류기의 성능이 최고 수준을 기록하며, 특히 긴 꼬리 클래스에서 뛰어난 성능을 보이며 비모수적 분류가 개방 집합, 인스턴스 수준 인식에 유망한 접근법임을 입증한다.

ABSTRACT

This work introduces a dataset for large-scale instance-level recognition in the domain of artworks. The proposed benchmark exhibits a number of different challenges such as large inter-class similarity, long tail distribution, and many classes. We rely on the open access collection of The Met museum to form a large training set of about 224k classes, where each class corresponds to a museum exhibit with photos taken under studio conditions. Testing is primarily performed on photos taken by museum guests depicting exhibits, which introduces a distribution shift between training and testing. Testing is additionally performed on a set of images not related to Met exhibits making the task resemble an out-of-distribution detection problem. The proposed benchmark follows the paradigm of other recent datasets for instance-level recognition on different domains to encourage research on domain independent approaches. A number of suitable approaches are evaluated to offer a testbed for future comparisons. Self-supervised and supervised contrastive learning are effectively combined to train the backbone which is used for non-parametric classification that is shown as a promising direction. Dataset webpage: http://cmp.felk.cvut.cz/met/

연구 동기 및 목표

• 예술 분야의 인스턴스 수준 인식(ILR)을 위한 대규모이고 청소된 데이터셋의 부족 문제를 해결하기 위해.
• 분포 이탈, 긴 꼬리 클래스 분포, 높은 클래스 간 유사성과 같은 실제 세계의 과제를 반영한 벤치마크를 만들기 위해.
• 방문자 촬영 이미지와 외부 분포(OOD) 이미지를 포함한 현실적인 테스트베드를 제공함으로써 도메인 일반화 및 개방 집합 ILR 연구를 지원하기 위해.
• 미술 분야에서 도전적인 세밀한 인식 작업에 대해 자기지도 학습 및 대비 학습 방법의 효과성을 평가하기 위해.

제안 방법

• 데이터셋은 The Met의 오픈 액세스 컬렉션에서 유래하였으며, 224만 개의 고유한 예술 작품 클래스에 대해 약 40만 장의 훈련 이미지가 포함되어 있으며, 각각 스튜디오 조건에서 촬영되었다.
• 테스트 세트는 1,100장의 방문자 촬영 이미지(분포 이탈)와 The Met과 관련이 없는 대규모 외부 분포(OOD) 이미지 세트로 구성되어 있다.
• SimSiam와 Con-Syn을 사용한 대비 학습 프레임워크가 적용되었으며, 특징의 구분 능력을 향상시키기 위해 실제 근접 쌍(Real-closest)을 추가로 활용하였다.
• 백본은 합성 및 실제 양성 쌍을 모두 사용한 대비 손실을 통해 미세조정되었으며, 학습된 특징에 대해 k-최근접 이웃(kNN) 분류를 통해 성능을 평가하였다.
• 모수적 분류기와 비모수적 kNN 분류기를 비교하여 kNN의 우월성을 입증하였으며, 특히 소수의 학습 예제가 있는 클래스에서 뚜렷한 성능 향상을 보였다.
• 자기지도 사전 학습(SimSiam 등)과 지도 학습 기반 대비 학습을 조합함으로써 긴 꼬리 데이터에서의 일반화 및 강건성을 향상시켰다.

실험 결과

연구 질문

• RQ1 긴 꼬리 클래스와 높은 클래스 간 유사성이 있는 예술 작품의 인스턴스 수준 인식에 대해 자기지도 학습 및 대비 학습 방법의 효과는 어떠한가?
• RQ2 예술 작품 데이터에서 긴 꼬리, 개방 집합 ILR 환경에서 비모수적 kNN 분류기가 모수적 분류기보다 우월한가?
• RQ3 스튜디오 이미지와 실제 세계 이미지 간의 분포 이탈은 모델의 일반화에 어떤 영향을 미치며, 이를 완화하기 위한 훈련 전략은 무엇인가?
• RQ4 대비 학습에서 합성 양성 쌍과 실제 양성 쌍(Real-closest)을 사용할 경우의 영향은 무엇인가?
• RQ5 The Met 데이터셋에서의 미세조정은 이 작업에서 ImageNet 또는 SWSL 사전 학습 대비 얼마나 성능 향상을 이룬다?

주요 결과

• R18IN Con-Syn+Real-closest 모델은 테스트 세트에서 55.0%의 상위-1 정확도를 기록하여 기준 모델 R18IN 대비 7.5% 향상된 성능을 보였다.
• kNN 분류기가 모수적 분류기보다 뛰어난 성능을 보였으며, 단 한 개의 학습 예제만 있는 클래스에서는 상대적 정확도 향상이 최대 50%에 이르렀다.
• SimSiam를 통한 자기지도 사전 학습은 추가적인 지도 학습 없이도 ImageNet 기준 모델보다 성능 향상을 이룬다.
• 대비 학습에 실제 양성 쌍(Real-closest)을 포함시키면 성능 향상이 뚜렷하게 향상되었으며, 특히 다른 실제 양성 쌍과의 혼동을 방지할 수 있도록 정확히 분리된 경우에 두드러졌다.
• Con-Syn+Real-closest 접근법은 평가된 모든 방법 중에서 최고 성능(55.0% 상위-1)을 기록하여 합성 및 실제 양성 쌍을 조합함으로써의 이점이 입증되었다.
• 성능 향상은 특히 저샷 클래스에서 가장 두드러졌으며, 이는 대비 학습된 특징과 함께 kNN을 사용할 경우 긴 꼬리 ILR에 매우 효과적임을 확인시켰다.