[論文レビュー] WebVision Challenge: Visual Learning and Understanding With Web Data

Wen Li, Limin Wang+6 more|arXiv (Cornell University)|May 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 14

ひとこと要約

WebVisionチャレンジは、ILSVRC 2012のコンセプトを用いてGoogle ImagesおよびFlickrからクロールされた240万枚を超える画像から構成される大規模なウェブ画像データセットに加え、人間によるアノテーションが施された検証およびテストセットを提供する。このデータセットは、2つのタスクを通じて、ノイズの多いウェブデータからの視覚的表現の学習を可能にする。タスク1はWebVisionテストセットにおける画像分類、タスク2はPASCAL VOC 2012における転移学習であり、自己教師ありおよび弱教師あり学習手法の発展を促進する。

ABSTRACT

We present the 2017 WebVision Challenge, a public image recognition challenge designed for deep learning based on web images without instance-level human annotation. Following the spirit of previous vision challenges, such as ILSVRC, Places2 and PASCAL VOC, which have played critical roles in the development of computer vision by contributing to the community with large scale annotated data for model designing and standardized benchmarking, we contribute with this challenge a large scale web images dataset, and a public competition with a workshop co-located with CVPR 2017. The WebVision dataset contains more than $2.4$ million web images crawled from the Internet by using queries generated from the $1,000$ semantic concepts of the benchmark ILSVRC 2012 dataset. Meta information is also included. A validation set and test set containing human annotated images are also provided to facilitate algorithmic development. The 2017 WebVision challenge consists of two tracks, the image classification task on WebVision test set, and the transfer learning task on PASCAL VOC 2012 dataset. In this paper, we describe the details of data collection and annotation, highlight the characteristics of the dataset, and introduce the evaluation metrics.

研究の動機と目的

• 人間によるアノテーションを最小限に抑えた、大規模で公開可能なデータセットを提供することで、ウェブデータからの視覚的表現学習を前進させること。
• タイトルやタグなどのメタデータからの弱教師あり信号を用いて、ノイズの多いウェブ画像から強力な視覚モデルを学習する課題に取り組むこと。
• ILSVRCやPlaces2と同等の基準で、ウェブデータで学習されたモデルを評価するための標準化されたベンチマークを確立すること。
• CVPR 2017で公開コンペティションおよびワークショップを主催することで、自己教師あり、半教師あり、弱教師あり学習分野における研究を促進すること。

提案手法

• ILSVRC 2012データセットの1,000の意味的コンセプトを用いて、Google画像検索およびFlickrから240万枚を超える画像をクロールし、意味的整合性を確保した。
• 画像とともに、タイトル、説明、タグなどの豊富なメタデータを収集し、表現学習における弱教師あり信号を提供した。
• アルゴリズムの評価およびモデル開発を可能にするために、それぞれ50,000枚の人が手動でアノテートした検証セットとテストセットを構築した。
• 2つのトラックを備えた公開コンペティションを実施した：(1) トレーニングセットのみを用いてWebVisionテストセットにおける画像分類、(2) WebVisionで学習したモデルを用いたPASCAL VOC 2012への転移学習。
• 標準的な評価指標を用いた：分類タスクではトップ-1精度、転移学習タスクでは平均平均精度（mAP）を採用した。
• CVPR 2017で公開プラットフォームおよびワークショップを提供し、ウェブベースの視覚学習分野における協働とベンチマーク評価を促進した。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いウェブ画像で学習した深層モデルは、ImageNetのような人間によるアノテーション付きデータセットで学習したモデルと同等の性能を達成できるか、どの程度の水準に達するか？
• RQ2 タイトルやタグなどの弱教師あり信号は、ウェブデータからの視覚的表現学習をどの程度効果的に向上させるか？
• RQ3 GoogleやFlickrからのウェブ画像と、ILSVRC 2012のような標準ベンチマークデータセットとの間で生じるドメインシフトの影響は何か？
• RQ4 WebVisionで事前学習したモデルは、PASCAL VOC 2012におけるオブジェクト検出や分類といった下流タスクにどの程度一般化するか？
• RQ5 特にラベルノイズやデータ分布のシフトに起因する、ウェブデータからの学習における主な課題は何か？

主な発見

• WebVisionデータセットは、ILSVRC 2012のコンセプトを用いてGoogle ImagesおよびFlickrから収集された240万枚を超えるウェブ画像を含み、大規模な表現学習を可能にする。
• 初期の20万枚のサンプルのうち約20％がノイズ（0票）としてラベル付けされ、インライヤー画像（2票または3票）は全体の66％にとどまり、ラベルノイズが顕著であることが示された。
• クリーニング度が最も高い「Tractor」（867）カテゴリでは200枚中199枚がインライヤーであった一方、最もノイジーな「lighter」（627）カテゴリでは200枚中24枚しかインライヤーがなく、カテゴリごとのラベル品質に顕著なばらつきが生じていることがわかった。
• データセットにはドメインの違いが見られる：Googleの画像は背景が綺麗で、オブジェクトが明確にフレームインされているのに対し、Flickrの画像は多様性に富み、小さなオブジェクトやごちゃついたオブジェクトが含まれることが多い。
• 検証セットおよびテストセットともに、それぞれ50,000枚の人が手動でアノテートした画像を含み、モデル性能および一般化性能の信頼性ある評価が可能である。
• チャレンジは、自己教師ありおよび弱教師あり学習手法のベンチマーク評価を成功裏に実施し、CVPR 2017のワークショップで結果が共有され、公開データセットのリリースを通じて広く利用された。