[論文レビュー] The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition

Jonathan Krause, Benjamin Sapp+6 more|arXiv (Cornell University)|Nov 20, 2015

Machine Learning and Algorithms参考文献 54被引用数 20

ひとこと要約

この論文は、ノイズが多いウェブソースのデータと一般的な認識手法を活用することで、細分化画像認識のための新規アプローチを提案している。4つのベンチマークデータセットで最先端の性能を達成しており、CUB-200-2011では92.3%のトップ1精度、Birdsnapでは85.4%、FGVC-Aircraftでは93.4%、Stanford Dogsでは80.8%を記録した。これらのデータセットの手作業でアノテートされたトレーニングラベルを一切使用せず、10,000種以上のハトやバタフライの種類にスケーリング可能である。

ABSTRACT

Current approaches for fine-grained recognition do the following: First, recruit experts to annotate a dataset of images, optionally also collecting more structured data in the form of part annotations and bounding boxes. Second, train a model utilizing this data. Toward the goal of solving fine-grained recognition, we introduce an alternative approach, leveraging free, noisy data from the web and simple, generic methods of recognition. This approach has benefits in both performance and scalability. We demonstrate its efficacy on four fine-grained datasets, greatly exceeding existing state of the art without the manual collection of even a single label, and furthermore show first results at scaling to more than 10,000 fine-grained categories. Quantitatively, we achieve top-1 accuracies of 92.3% on CUB-200-2011, 85.4% on Birdsnap, 93.4% on FGVC-Aircraft, and 80.8% on Stanford Dogs without using their annotated training sets. We compare our approach to an active learning approach for expanding fine-grained datasets.

研究の動機と目的

• 専門家がアノテートしたデータセットに依存する従来の細分化認識手法のスケーラビリティの限界を解決すること。
• ノイズを含むウェブソースのデータが、クリーニングされたデータセットを上回る性能を示すかどうかを調査すること。
• 既存のベンチマークで数百種類にとどまるカテゴリをはるかに超える10,000種以上のカテゴリにまで拡張可能な認識を可能にすること。
• データ収集において、完全にウェブベースのデータトレーニングとアクティブラーニングのアプローチを比較すること。

提案手法

• ウェブ検索エンジンを用いて、カテゴリ名をクエリとして画像を収集し、大規模でノイズの多いトレーニングデータセットを構築する。
• 学習済みの画像埋め込みとハミング距離を用いた類似度ベースの重複除去手法を適用して、類似した画像を削除する。
• ベンチマークデータセットの手作業でアノテートされたラベルを一切使用せず、重複除去済みのウェブソースデータ上で深層畳み込みニューラルネットワークを訓練する。
• 類似度学習手法（Wangら[64]と同様）を用いて、テストセットの画像とあまりに類似した画像を特定・削除する。
• オリジナルのトレーニングラベルが存在しないにもかかわらず、標準ベンチマークで微調整を行い、性能を評価する。
• 勾配可視化を用いて特徴の学習状態を分析し、ウェブで学習したモデルが、より的確に判別に寄与する部分に注目していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含むウェブソースのデータのみで、手作業でアノテートされたトレーニングデータが一切ない状態でも、細分化画像認識で最先端の性能を達成できるか？
• RQ2 クリーニングされたデータセットではなく、ウェブデータのみでトレーニングした場合、標準ベンチマークでの性能はどのように変化するか？
• RQ3 ウェブデータのみを用いて、細分化認識を何千種類ものカテゴリにまでスケーリングできるか？
• RQ4 ラベルのノイズやデータ品質が、モデルの一般化性能や性能に与える影響はどの程度か？
• RQ5 専門家がアノテートしたデータから学習した特徴と比較して、ウェブデータから学習した特徴は、判別に寄与する特徴の学習においてどの程度優れているか？

主な発見

• CUB-200-2011では、そのアノテート済みトレーニング画像を一切使用せず、92.3%のトップ1精度を達成し、人間レベルの性能に近づいた。
• Birdsnapでは、85.4%のトップ1精度を記録し、データセットのトレーニングラベルを一切使用せずに、以前の最先端の結果を上回った。
• FGVC-Aircraftでは、93.4%のトップ1精度を達成し、新しい挑戦的な細分化データセットにおいても強い一般化性能を示した。
• Stanford Dogsでは、オリジナルのトレーニングセットに依存せず、80.8%のトップ1精度を達成した。
• 本手法は、10,000種以上のハトの種類および14,000種以上のバタフライ・モチの種類にまでスケーリング可能であり、前例のないスケーラビリティを示した。
• 勾配可視化の結果、ウェブで学習したモデルは、クリーニングされたデータで学習したモデルと比較して、より的確に判別に寄与する部分に注目していることが明らかになった。