[論文レビュー] Webly Supervised Learning of Convolutional Networks

Xinlei Chen, Abhinav Gupta|arXiv (Cornell University)|May 7, 2015

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 67

ひとこと要約

この論文は、検索エンジンから得られるクリアで簡単な画像で事前学習し、その後、より現実的で難しい画像に適応する二段階のウェブリー監視学習手法を提案している。この手法により、人為的アノテーションのボクシングボックスを一切使用しないPASCAL VOC 2007オブジェクト検出タスクで最先端の性能を達成した。

ABSTRACT

We present an approach to utilize large amounts of web data for learning CNNs. Specifically inspired by curriculum learning, we present a two-step approach for CNN training. First, we use easy images to train an initial visual representation. We then use this initial CNN and adapt it to harder, more realistic images by leveraging the structure of data and categories. We demonstrate that our two-stage CNN outperforms a fine-tuned CNN trained on ImageNet on Pascal VOC 2012. We also demonstrate the strength of webly supervised learning by localizing objects in web images and training a R-CNN style detector. It achieves the best performance on VOC 2007 where no VOC training data is used. Finally, we show our approach is quite robust to noise and performs comparably even when we use image search results from March 2013 (pre-CNN image search era).

研究の動機と目的

• CNNが人為的アノテーションのボクシングボックスを一切使用せずに、大規模でノイズの多いウェブデータから効果的に学習可能かどうかを検討すること。
• 特に画像検索エンジンやソーシャルメディアから得られるウェブ画像コレクションにおけるデータのノイズとバイアスの課題に対処すること。
• ImageNetのような人為的アノテーション済みデータセットの代替として、スケーラブルで低コストな視覚モデルの学習手法を構築すること。
• ウェブリー監視学習されたCNNが、オブジェクト検出やシーン分類のような下流タスクにうまく一般化できることを示すこと。
• ImageNetで事前学習されたモデルに匹敵する性能を、VOCのトレーニングデータを一切使用せずにウェブデータのみで学習したCNNが達成できることを示すこと。

提案手法

• Google Image Searchから取得したクリアで高精度な画像（オブジェクト中心の画像と仮定）を用いて、初期のCNNを学習する。
• その後、よりノイズが多く、複数のオブジェクトや複雑な背景を含むFlickrの画像セットに対して、初期CNNから特徴量を抽出する。
• CNN特徴量を用いて、カテゴリ間の意味的・視覚的構造をモデル化する類似性ベースの関係性グラフを構築する。
• 学習済みの関係性グラフを正則化項として用いて、Flickrの画像上で初期CNNをファインチューニングすることで、ノイズへの過学習を低減し、一般化性能を向上させる。
• データとカテゴリの関係性の構造を活用し、簡単な画像から難しい画像への適応を、カリキュラム学習に類似した戦略で行う。
• 最終モデルを、R-CNN風のオブジェクト検出やシーン分類といった下流タスクに適用するが、ターゲットタスク用の人的アノテーションデータは一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションのボクシングボックスを一切使用せずに、大規模でノイズの多いウェブデータからCNNを効果的に学習可能か？
• RQ2 クリアな画像から始め、ノイズの多い画像に段階的に適応する二段階学習戦略が、下流タスクの一般化性能と性能向上に寄与するか？
• RQ3 VOCのトレーニングデータを一切使用せずに、ウェブリー監視学習されたCNNがオブジェクト検出ベンチマーク（PASCAL VOC）で最先端の性能を達成できるか？
• RQ4 画像検索結果が深層学習の台頭以前（例：2013年3月）のものであった場合でも、この手法はノイズや分布シフトに対して頑健であるか？
• RQ5 ドメイン固有のファインチューニングなしで、ウェブデータから学習した特徴量が、シーン分類タスクにおいて競争力を持つことができるか？

主な発見

• 二段階のウェブリー監視学習CNNは、PASCAL VOC 2012でImageNetファインチューニング済みCNNを上回り、より難しいデータに対する優れた一般化性能を示した。
• PASCAL VOC 2007では、1枚のVOCトレーニング画像も使用せず、ウェブデータのみに依存して最先端の性能を達成した。
• MIT Indoor-67のシーン分類タスクで66.5%の精度を達成し、Placesデータベースで学習したCNNと同等の性能を示したが、これはドメイン固有のデータを一切使用せず、ウェブクエリのみに依存した結果である。
• 深層学習の台頭以前の画像検索結果（2013年3月）を用いても、この手法はノイズの多いデータに対して強い一般化性能を示し、頑健であることが確認された。
• ベースライン手法と比較して、局所化エラーが顕著に低減されたが、背景の混入や検索キーワードの多義性による課題は依然として残っている。
• 検出における誤検出の主な原因は、背景の混入やキーワードの多義性（例：'bicycle'がオートバイを意味すること、'caprice'が車を意味すること）に起因しており、意味の明確化のためのより良い手法の導入が求められる。