[論文レビュー] On Deep Representation Learning from Noisy Web Images

Phong D. Vo, Alexandru-Lucian Gînsca+2 more|arXiv (Cornell University)|Dec 15, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 4

ひとこと要約

この論文では、ノイズの多いウェブ画像を用いて畳み込みニューラルネットワーク（convnets）を一般特徴検出器として訓練する半教師あり深層表現学習手法を提案する。高いノイズレベル、データバイアス、誤ラベル化が存在する中でも、同手法は9つの公開データセットで最先端の性能を達成し、ImageNetで訓練されたAlexNetを上回り、314万枚のノイズの多いウェブ画像のみを用いてVGG-16の性能に近づいた。

ABSTRACT

The keep-growing content of Web images may be the next important data source to scale up deep neural networks, which recently obtained a great success in the ImageNet classification challenge and related tasks. This prospect, however, has not been validated on convolutional networks (convnet) -- one of best performing deep models -- because of their supervised regime. While unsupervised alternatives are not so good as convnet in generalizing the learned model to new domains, we use convnet to leverage semi-supervised representation learning. Our approach is to use massive amounts of unlabeled and noisy Web images to train convnets as general feature detectors despite challenges coming from data such as high level of mislabeled data, outliers, and data biases. Extensive experiments are conducted at several data scales, different network architectures, and data reranking techniques. The learned representations are evaluated on nine public datasets of various topics. The best results obtained by our convnets, trained on 3.14 million Web images, outperform AlexNet trained on 1.2 million clean images of ILSVRC 2012 and is closing the gap with VGG-16. These prominent results suggest a budget solution to use deep learning in practice and motivate more research in semi-supervised representation learning.

研究の動機と目的

• 大規模でラベルなし、ノイズの多いウェブ画像コレクション上で深層畳み込みネットワークを訓練する可能性を検討すること。
• 深層表現学習のためのウェブスケール画像データセットにおけるデータノイズ、誤ラベル、バイアスの課題に対処すること。
• 完全にクリーンなデータセットを必要としない半教師あり学習フレームワークを構築し、一般化性能を向上させること。
• ノイズのあるデータから学習した表現の頑健性と転移可能性を、多様な下流タスクにおいて評価すること。

提案手法

• ネットワーク重みを初期化するために、少量のクリーンな画像（例：ImageNet）を用いた教師あり事前学習段階を実施する。
• その後、弱いまたはノイズの多いラベルが付与された314万枚のノイズの多いウェブ画像の巨大スケールのコレクションに対して、ネットワークをファインチューニングする。
• トレーニング中に低品質または外れ値の画像を除外するために、データリランクイング技術を採用し、表現品質を向上させる。
• ネットワークは一般特徴検出器として訓練され、特定の分類タスクを解くのではなく、転送可能な特徴を学ぶことに焦点を当てる。
• 標準的な深層畳み込みアーキテクチャ（例：AlexNet、VGG風）を半教師あり学習に適応したものを使用する。
• ゼロショット転移学習を用いて、下流タスクにおける精度を測定し、さらにファインチューニングを行わず、複数のデータセットで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全にクリーンなデータセットを必要とせずに、ノイズの多いウェブ画像から深層畳み込みネットワークが頑健で転送可能な表現を学習できるか？
• RQ2 ノイズの多いウェブデータで訓練されたモデルの性能は、ImageNetのようなクリーンで整理されたデータセットで訓練されたモデルと比べてどうか？
• RQ3 データリランクイングと半教師あり学習を用いることで、ウェブスケール画像コレクションにおけるラベルノイズとデータバイアスの悪影響をどの程度軽減できるか？
• RQ4 ノイズの多い教師信号が存在する中でも、大規模なラベルなしデータの使用が、下流タスクにおける一般化性能の向上に寄与するか？
• RQ5 314万枚のノイズの多い画像で訓練されたモデルは、120万枚のクリーンなImageNet画像で訓練されたAlexNetの性能を上回ることができるか？

主な発見

• 314万枚のノイズの多いウェブ画像で訓練されたモデルは、120万枚のクリーンなImageNet画像で訓練されたAlexNetを、複数の下流分類タスクで上回った。
• 学習された表現は、より深く複雑な構造を持つVGG-16に近い性能を達成し、強力な転送可能性を示した。
• データリランクイング技術の使用により、トレーニング中に低品質および外れ値の画像を除外することで、モデルの精度が顕著に向上した。
• 半教師ありアプローチは、高いラベルノイズが存在する中でも、ラベルなしデータを効果的に活用し、特徴学習を強化した。
• ノイズの多いウェブデータは、深層表現学習のためのクリアなデータセットの代替として、実用的でコスト効率の良い選択肢であることが示された。
• 深層ネットワークは、適切なデータフィルタリングとトレーニング戦略を組み合わせることで、ノイズのあるデータからも良好に一般化できることを本研究は検証した。