[논문 리뷰] WebVision Database: Visual Learning and Understanding from Web Data

Wen Li, Limin Wang외 3명|arXiv (Cornell University)|2017. 08. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 313

한 줄 요약

WebVision을 소개하는 2.4M 이미지 웹 데이터셋으로, 잡음 많은 웹 데이터로 학습에서 시각 인식 및 도메인 적응을 연구하기 위한 메타 정보를 포함하며, ILSVRC 2012에 경쟁적인 일반화 성능과 Caltech-256 및 PASCAL VOC 2007으로의 강한 전이성을 보인다.

ABSTRACT

In this paper, we present a study on learning visual recognition models from large scale noisy web data. We build a new database called WebVision, which contains more than $2.4$ million web images crawled from the Internet by using queries generated from the 1,000 semantic concepts of the benchmark ILSVRC 2012 dataset. Meta information along with those web images (e.g., title, description, tags, etc.) are also crawled. A validation set and test set containing human annotated images are also provided to facilitate algorithmic development. Based on our new database, we obtain a few interesting observations: 1) the noisy web images are sufficient for training a good deep CNN model for visual recognition; 2) the model learnt from our WebVision database exhibits comparable or even better generalization ability than the one trained from the ILSVRC 2012 dataset when being transferred to new datasets and tasks; 3) a domain adaptation issue (a.k.a., dataset bias) is observed, which means the dataset can be used as the largest benchmark dataset for visual domain adaptation. Our new WebVision database and relevant studies in this work would benefit the advance of learning state-of-the-art visual models with minimum supervision based on web data.

연구 동기 및 목표

• 노이즈가 많은 웹 라벨이 인간이 주석한 데이터와 비교하여 시각 인식에 어떤 영향을 미치는지 평가한다.
• WebVision에서 학습된 모델의 다른 데이터셋과 과제에 대한 일반화를 평가한다.
• 인식 과제를 위한 웹 이미지에 수반되는 메타 정보의 유용성을 탐구한다.
• WebVision과 ILSVRC 2012 간의 데이터셋 편향과 도메인 적응에 대한 함의를 조사한다.

제안 방법

• Flickr와 Google 이미지 검색에서 2.4M장의 이미지를 사용하고 1,000개 ILSVRC 2012 동의어 집합을 쿼리로 사용하여 WebVision 데이터셋을 구성한다.
• 웹 이미지에 대한 메타 정보(제목, 설명, 태그 등)를 수집한다.
• AMT를 통해 100K의 인간 주석 하위 집합(50K 유효성 검사, 50K 테스트)을 만들고 근사 중복 제거 및 3-투표 품질 투표를 수행한다.
• WebVision과 ILSVRC 2012에서 기본 AlexNet 모델을 학습시키고 검증 세트에서 교차 데이터셋 성능을 비교한다.
• WebVision 및 ILSVRC 학습 특징을 Caltech-256, PASCAL VOC 2007 및 Faster R-CNN을 이용한 객체 검출에 적용하여 전이 학습을 평가한다.
• WebVision 및 ILSVRC 2012 이미지를 부분샘플링하여 라벨 노이즈와 데이터 양(수량 대 품질)의 효과를 분석하여 인식 성능에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 웹 라벨 데이터가 인간 주석 데이터와 비교해 경쟁력 있는 시각 인식 모델을 학습시킬 수 있는가?
• RQ2 WebVision에서 학습된 모델의 성능이 다른 데이터셋과 과제에 어떻게 일반화되는가(전이 학습)?
• RQ3 웹에서 수집된 학습 데이터에서 라벨 노이즈와 데이터 양의 영향은 무엇인가?
• RQ4 웹 이미지에 수반되는 메타 정보가 인식 성능을 개선하거나 다중 모달 학습을 가능하게 하는가?
• RQ5 WebVision과 ILSVRC 2012 사이에 측정 가능한 데이터셋 편향이 있으며 WebVision이 도메인 적응 벤치마크로 작용할 수 있는가?

주요 결과

• WebVision은 상당한 라벨 노이즈에도 불구하고 강력한 CNN 모델을 가능하게 하며, 대규모 데이터가 노이즈 영향을 완화한다.
• WebVision에서 학습된 모델은 Caltech-256 및 PASCAL VOC 2007에서 ILSVRC 2012 모델과 비슷하거나 더 나은 일반화를 보이고, PASCAL VOC 2007에서 객체 탐지에서도 우수하다.
• WebVision과 ILSVRC 2012 간에 도메인 편향이 존재하며 교차 데이터셋 성능 저하로 나타나지만, WebVision 특징은 다른 과제로의 전이에 잘 작동한다.
• 웹 이미지에 수반되는 메타 정보가 다중 모달 및 도메인 적응 연구를 지원할 가능성을 가지고 있으며(데이터셋 편향 관찰로 시연).
• 더 많은 웹 이미지를 사용하는 것이 라벨 품질 향상만으로는 보완하기 어려운 노이즈를 더 잘 보상하며, 대규모 설정에서 양의 이점이 노이즈를 능가한다.