[논문 리뷰] WebVision Challenge: Visual Learning and Understanding With Web Data

Wen Li, Limin Wang외 6명|arXiv (Cornell University)|2017. 05. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 14

한 줄 요약

WebVision 챌린지는 ILSVRC 2012 개념을 사용해 Google Images와 Flickr에서 크롤링한 240만 개가 넘는 이미지로 구성된 대규모 웹 이미지 데이터셋을 제공하며, 인간이 레이블링한 검증 및 테스트 세트를 함께 포함한다. 이는 웹에서 수집한 노이즈가 많은 데이터로부터 시각적 표현을 학습하는 데에 기여하며, 두 가지 과제를 통해 진행된다: WebVision 테스트 세트에서의 이미지 분류와 PASCAL VOC 2012에서의 전이 학습으로, 자기지도 및 약한 지도 학습 방법을 발전시킨다.

ABSTRACT

We present the 2017 WebVision Challenge, a public image recognition challenge designed for deep learning based on web images without instance-level human annotation. Following the spirit of previous vision challenges, such as ILSVRC, Places2 and PASCAL VOC, which have played critical roles in the development of computer vision by contributing to the community with large scale annotated data for model designing and standardized benchmarking, we contribute with this challenge a large scale web images dataset, and a public competition with a workshop co-located with CVPR 2017. The WebVision dataset contains more than $2.4$ million web images crawled from the Internet by using queries generated from the $1,000$ semantic concepts of the benchmark ILSVRC 2012 dataset. Meta information is also included. A validation set and test set containing human annotated images are also provided to facilitate algorithmic development. The 2017 WebVision challenge consists of two tracks, the image classification task on WebVision test set, and the transfer learning task on PASCAL VOC 2012 dataset. In this paper, we describe the details of data collection and annotation, highlight the characteristics of the dataset, and introduce the evaluation metrics.

연구 동기 및 목표

• 최소한의 인간 레이블링을 제공하는 대규모 공개 데이터셋을 통해 웹 데이터에서 시각적 표현 학습을 발전시키기 위해.
• 제목, 태그와 같은 메타데이터에서 유도되는 약한 지도 신호를 활용해 노이즈가 많은 웹 기반 이미지에서 강건한 시각 모델을 학습하는 도전 과제를 해결하기 위해.
• ILSVRC 및 Places2와 유사한 기준을 제공하는 표준화된 벤치마크를 구축하기 위해.
• CVPR 2017에서 공개 챌린지와 워크숍을 개최하여 자기지도, 준지도, 약한 지도 학습 분야의 연구를 촉진하기 위해.

제안 방법

• ILSVRC 2012 데이터셋의 1,000개의 의미적 개념을 사용해 Google Image Search와 Flickr에서 240만 장 이상의 이미지를 크롤링하여 의미 일관성을 확보했다.
• 이미지와 함께 제목, 설명, 태그와 같은 풍부한 메타데이터를 수집하여 표현 학습을 위한 약한 지도 신호를 제공했다.
• 모델 평가 및 개발을 가능하게 하기 위해 각각 50,000개의 인간 레이블링된 이미지로 구성된 검증 세트와 테스트 세트를 구축했다.
• 공개 챌린지를 개최하여 두 가지 트랙을 운영했다: (1) 훈련 세트만을 사용해 WebVision 테스트 세트에서의 이미지 분류, (2) WebVision에서 훈련된 모델을 사용해 PASCAL VOC 2012로의 전이 학습.
• 표준 평가 지표를 사용: 분류 과제에 대해 정확도(top-1), 전이 학습 과제에 대해 평균 정밀도(mAP).
• CVPR 2017에서 공개 플랫폼과 워크숍을 제공하여 웹 기반 시각 학습 분야의 협업과 벤치마크를 촉진했다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 웹 기반 이미지에서 훈련된 딥 모델이 ImageNet과 같은 인간 레이블링 데이터셋에서 훈련된 모델와 유사한 성능을 달성할 수 있는가?
• RQ2 제목, 태그와 같은 약한 지도 신호가 웹 데이터에서 시각적 표현 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 Google와 Flickr에서 수집한 웹 이미지와 ILSVRC 2012와 같은 표준 벤치마크 데이터셋 간의 도메인 이동(distribution shift)이 어떤 영향을 미치는가?
• RQ4 WebVision에서 사전 훈련된 모델이 PASCAL VOC 2012에서의 객체 검출 및 분류와 같은 후행 작업으로 얼마나 잘 일반화되는가?
• RQ5 특히 레이블 노이즈와 데이터 분포 이동에 있어 웹 데이터에서 학습하는 데에 주요 과제는 무엇인가?

주요 결과

• WebVision 데이터셋은 ILSVRC 2012 개념을 사용해 Google Images와 Flickr에서 수집한 240만 장 이상의 웹 이미지를 포함하며, 대규모 표현 학습을 가능하게 한다.
• 초기 20만 장의 샘플 중 약 20%가 노이즈로 간주되어 레이블이 없음(0표)으로 분류되었고, 내재된 이미지(2~3표)는 총 수의 66%에 불과하여 레이블 노이즈가 심각하게 존재함을 시사한다.
• 가장 깨끗한 카테고리인 'Tractor'(867)는 200장 중 199장이 내재된 이미지였지만, 가장 노이즈가 많은 'lighter'(627)는 내재된 이미지가 단지 24장에 불과하여 카테고리 간 레이블 품질의 변동성이 높음을 보여준다.
• 데이터셋은 도메인 차이를 보이며, Google 이미지는 깔끔한 배경과 잘 프레임된 객체를, Flickr 이미지는 더 다양한 구성과 작은 또는 혼잡한 객체를 포함하는 경향이 있다.
• 검증 세트와 테스트 세트 각각에 50,000개의 인간 레이블링된 이미지가 포함되어 있어 모델 성능과 일반화 능력에 대한 신뢰성 있는 평가가 가능하다.
• 챌린지는 자기지도 및 약한 지도 학습 방법의 벤치마크를 성공적으로 가능하게 했으며, 결과는 CVPR 2017 워크숍에서 공유되었고, 공개 데이터셋 배포를 통해도 확산되었다.