[논문 리뷰] The iMet Collection 2019 Challenge Dataset

Chenyang Zhang, Christine Kaeser‐Chen외 4명|arXiv (Cornell University)|2019. 06. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 12

한 줄 요약

이 논문은 뉴욕 대도시미술관(Metropolitan Museum of Art) 소장 미술 작품의 전문가 사진 155,531점으로 구성된 대규모 연구용 데이터셋인 iMet Collection 2019 Challenge Dataset를 소개한다. 이 데이터셋은 박물관 전문가와 전문 비즈니스 공급업체가 정의한 1,103개의 세분화된 특성으로 레이블링되었으며, 다중 레이블 세분화된 시각 인식을 지원한다. 데이터셋은 긴 꼬리 분포를 보이며, 각 이미지의 특성 수가 다양하다. 이 데이터셋은 자동화된 미술 작품 레이블링 및 디지털 큐레이션 기술 발전을 위해 캐글 기반의 FGVC6 경연 대회에서 사용되었다.

ABSTRACT

Existing computer vision technologies in artwork recognition focus mainly on instance retrieval or coarse-grained attribute classification. In this work, we present a novel dataset for fine-grained artwork attribute recognition. The images in the dataset are professional photographs of classic artworks from the Metropolitan Museum of Art, and annotations are curated and verified by world-class museum experts. In addition, we also present the iMet Collection 2019 Challenge as part of the FGVC6 workshop. Through the competition, we aim to spur the enthusiasm of the fine-grained visual recognition research community and advance the state-of-the-art in digital curation of museum collections.

연구 동기 및 목표

• 예술 작품 인식 데이터셋에서 고품질의 세분화된 특성 레이블링이 부족한 문제를 해결하기 위해.
• 전문 박물관 예술 작품 이미지를 활용한 세분화된 시각 분류(FGVC) 연구를 지원하기 위해.
• 대규모 전문가 검증 데이터셋을 통해 문화유산 컬렉션의 자동 레이블링을 가능하게 하기 위해.
• 컴퓨터 비전 기법을 활용한 박물관 컬렉션의 디지털 큐레이션을 발전시키기 위해.
• 캐글 경연 대회를 통해 다중 레이블 예술 작품 특성 인식의 기준을 설정하기 위해.

제안 방법

• 데이터셋은 메트의 오픈 액세스 컬렉션에서 유래한 155,531장의 이미지로 구성되며, 모든 이미지는 가장 짧은 변이 300px로 리사이징되어 PNG 형식으로 저장되었다.
• 레이블링은 두 가지 검증된 출처에서 유래했다: 주제 전문가(SMEs)와 전문 비즈니스 레이블러가 정의한 분류 체계를 사용하였다.
• 피벗 레이블을 활용하여 세 가지 분할(학습: 109,274장; 검증: 7,443장; 테스트: 38,814장)을 구성하여 레이블 일관성을 확보하였다.
• 피벗 레이블에 세 개 이하의 샘플이 포함된 경우 샘플을 기각하였으며, 세 분할 모두에 존재하지 않는 레이블은 제거하였다.
• 평가 지표로는 정밀도보다 재현율을 우선시하기 위해 β=2인 Fβ 스코어를 사용하였다.
• 경연은 캐글에서 커널 전용 경연으로 개최되어 모델의 오픈소스화를 요구하고 계산 자원을 제한하여 공정성과 투명성을 확보하였다.

실험 결과

연구 질문

• RQ1 문화유산 컬렉션 맥락에서 세분화된 특성 인식은 어떻게 향상시킬 수 있는가?
• RQ2 전문가가 큐레이션한 고품질의 연구용 레이블링이 다중 레이블 예술 작품 분류 성능에 미치는 영향은 무엇인가?
• RQ3 긴 꼬리 분포와 이미지당 특성 수의 변동성이 예술 작품 인식에서 모델 일반화에 미치는 영향은 무엇인가?
• RQ4 캐글 기반의 커널 전용 경연 모델은 자원 접근의 공정성을 확보하면서 자동화된 예술 작품 레이블링 분야의 혁신을 효과적으로 이끌 수 있는가?
• RQ5 고품질의 다중 특성 데이터셋은 박물관 컬렉션의 디지털 큐레이션 발전에 어떤 역할을 할 수 있는가?

주요 결과

• iMet Collection 2019 데이터셋은 155,531장의 이미지와 1,103개의 고유한 특성으로 구성되어 있으며, 가장 빈도가 높은 레이블은 'Men'(학습 샘플 19,974개), 'Women'(14,283개), 'French'(13,549개)이다.
• 데이터셋은 긴 꼬리 분포를 보이며, 가장 빈도가 낮은 특성인 'Afgan'은 학습 샘플이 단 1개 뿐이다.
• 이미지당 특성 수는 1개에서 11개까지 다양하며, 대부분의 샘플은 2~4개의 특성을 가지며, 한 샘플은 11개의 특성을 가진다.
• 경연에는 435개 팀에서 500명 이상의 참가자가 참가했으며, 결과는 공개 랭킹 보드에서 추적되었고, 모든 모델는 오픈소스화가 요구되었다.
• 이 데이터셋은 캐글에서 처음으로 커널 전용 컴퓨터 비전 경연 대회로 사용되어 알고리즘의 투명성과 자원의 공정성을 증진시켰다.
• 저자들은 향후 작업을 위해 미디엄, 크기 등의 추가적인 의미 그룹을 데이터셋에 추가하고, 인스턴스 검출, 세그멘테이션, 캡션 생성 등의 작업을 지원할 계획이다.