[論文レビュー] Internet Explorer: Targeted Representation Learning on the Open Web

Alexander C. Li, Ellis V. Brown+2 more|arXiv (Cornell University)|Feb 27, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

Internet Explorer は、ターゲットの視覚的タスクのための関連するトレーニングデータを反復的に収集するために、テキストベースの検索を用いてオープンウェブを動的にクエリする自己教師ありアクティブラーニングフレームワークを提案する。クエリ、自己教師ありトレーニング、クエリの最適化を繰り返すことで、1枚のGPUと30〜40時間の検索時間でのみ、CLIPのオラクルモデルと同等またはそれ以上のパフォーランスを達成した。これは、画像ベースのリtrieval や非指向的なウェブ検索手法よりも優れている。

ABSTRACT

Modern vision models typically rely on fine-tuning general-purpose models pre-trained on large, static datasets. These general-purpose models only capture the knowledge within their pre-training datasets, which are tiny, out-of-date snapshots of the Internet -- where billions of images are uploaded each day. We suggest an alternate approach: rather than hoping our static datasets transfer to our desired tasks after large-scale pre-training, we propose dynamically utilizing the Internet to quickly train a small-scale model that does extremely well on the task at hand. Our approach, called Internet Explorer, explores the web in a self-supervised manner to progressively find relevant examples that improve performance on a desired target dataset. It cycles between searching for images on the Internet with text queries, self-supervised training on downloaded images, determining which images were useful, and prioritizing what to search for next. We evaluate Internet Explorer across several datasets and show that it outperforms or matches CLIP oracle performance by using just a single GPU desktop to actively query the Internet for 30--40 hours. Results, visualizations, and videos at https://internet-explorer-ssl.github.io/

研究の動機と目的

• 静的で事前学習済みの視覚モデルが陳腐化し、動的で現実世界の視覚的コンセプトを捉えられなくなるという限界を解消すること。
• 大規模な事前学習の非効率性を克服し、オープンウェブのアクティブかつ自己教師ありの探索を用いて、軽量でタスク固有のモデルを構築すること。
• ラベル付きデータや静的データセットに依存せずに、新しいまたは細分化された分類タスクに対して、効率的かつ低計算リソースで視覚モデルを適応させること。
• ターゲット付きで反復的なウェブクエリが、受動的なデータ収集や画像ベースのリtrieval よりも優れた表現学習をもたらすかどうかを示すこと。

提案手法

• システムは、テキストクエリの作成、検索エンジンからの画像の取得、収集データに対する自己教師ありトレーニングを繰り返すオンラインエージェントとして動作する。
• ダウンロードされた画像に対して、自己教師ありの対照的学習目的（例：MoCo-v3）を用いてトレーニングし、時間経過とともに特徴の質を向上させる。
• 取得された画像の関連性は、ターゲットデータセットとの特徴の整合性を評価することで判断され、これにより将来のクエリの優先順位付けが行われる。
• エージェントは事前学習済みモデル（例：MoCo-v3）からスタートし、下流のパフォーマンスを最も向上させる画像に基づいて、徐々にクエリを最適化する。
• インターネットを動的で開放的なデータセットとみなすことで、手動でのキュエーリングやラベル付けなしに、トレーニングデータを継続的に拡張可能である。
• この手法は任意のテキストベースの検索エンジンと互換性があり、画像同士の類似性や有料APIを必要としない。

実験結果

リサーチクエスチョン

• RQ1 アクティブで自己教師ありのオープンウェブ探索は、最小限の計算リソースで、静的で事前学習されたモデルを上回るパフォーマンスを達成できるか？
• RQ2 画像ベースのリtrieval（例：CLIP特徴を用いる）と比較して、ターゲット付きのテキストベースのウェブクエリは、特徴の質や一般化性能においてどう異なるか？
• RQ3 反復的なウェブ探索によって学習された小規模なモデルは、CLIPのような大規模で事前学習済みのオラクルモデルと同等またはそれ以上のパフォーマンスを達成できるか？
• RQ4 画像類似度検索とは対照的に、テキストをクエリのボトルネックとして用いることで、多様性と一般化がどの程度促進されるか？
• RQ5 モデルのパフォーマンスに基づく継続的なクエリの最適化は、固定または非指向的な検索戦略よりも、より効果的なデータ収集をもたらすか？

主な発見

• Internet Explorer は、PASCAL VOC や ImageNet-100 といった細分化された分類タスクやベンチマークデータセットも含む7つの多様なデータセットで、CLIPオラクルモデルと同等またはそれ以上のパフォーマンスを達成した。
• Flowers、Pets、VOC2007 データセットでは、それぞれ98.8%、87.0%、76.1%のk-NN正答率を達成した—これは、同じデータとハイパーパramータを使用した画像同士のリtrievalベースラインを上回った。
• 画像同士のリtrievalベースラインは、強力なCLIP ViT-L/14特徴を用い、100万枚の画像をダウンロードしたにもかかわらず、Internet Explorer よりも悪い特徴を学習した可能性が高く、データの重複と多様性の欠如が原因と考えられる。
• Internet Explorer は30〜40時間の間、1枚の3090 GPU を使用して、1万件を超える段階的な改善を遂げたクエリを実行し、100万枚以上の関連画像をダウンロードした。
• この手法は、非指向的なウェブ検索や固定クエリアプローチを著しく上回り、フィードバック駆動でターゲットを絞った探索の価値を示している。
• MoCo-v3 からブートストラップし、取得画像に対して自己教師あり学習を適用することで、ターゲットデータセットにおけるパフォーマンスが著しく向上した。これは、反復的最適化ループの有効性を裏付けている。