[論文レビュー] Neural Data Server: A Large-Scale Search Engine for Transfer Learning Data

Xi Yan, David Acuna+1 more|arXiv (Cornell University)|Jan 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 5

ひとこと要約

Neural Data Server (NDS) は、コン pact な混合エキスパート (MoE) モデルを用いて主要な公開画像データセットをインデックスすることで、転移学習のための最適な事前学習データを推薦する大規模スケールの検索エンジンです。クライアントは、全データセットの 20% のみを用いても、最新の性能を達成でき、全画像事前学習と同等またはそれ以上の正確性を示しながら、トレーニング時間と計算コストを削減します。

ABSTRACT

Transfer learning has proven to be a successful technique to train deep learning models in the domains where little training data is available. The dominant approach is to pretrain a model on a large generic dataset such as ImageNet and finetune its weights on the target domain. However, in the new era of an ever-increasing number of massive datasets, selecting the relevant data for pretraining is a critical issue. We introduce Neural Data Server (NDS), a large-scale search engine for finding the most useful transfer learning data to the target domain. NDS consists of a dataserver which indexes several large popular image datasets, and aims to recommend data to a client, an end-user with a target application with its own small labeled dataset. The dataserver represents large datasets with a much more compact mixture-of-experts model, and employs it to perform data search in a series of dataserver-client transactions at a low computational cost. We show the effectiveness of NDS in various transfer learning scenarios, demonstrating state-of-the-art performance on several target datasets and tasks such as image classification, object detection and instance segmentation. Neural Data Server is available as a web-service at http://aidemos.cs.toronto.edu/nds/.

研究の動機と目的

• 転移学習において、膨大で常に増加し続ける公開データセットの中から最も関連性の高い事前学習データを選択するという重要な課題に対処すること。
• 大規模データセットにおける事前学習の計算的・経済的負担を軽減し、高効用のサンプルを効率的かつデータ効率よく選択できる仕組みを提供すること。
• 推薦プロセス中にクライアントのデータがサーバーに露出しないようにすることで、クライアントのプライバシーを保護すること。
• 複数のクライアントが同時に並列で利用できる高スループットでスケーラブルなサービスを実現するため、サーバー上のオンライン計算を最小限に抑えること。
• ラベル付きデータが存在しない状況を含む低リソース環境でも、選択されたデータを用いた自己教師あり事前学習により、効果的な転移学習を可能にすること。

提案手法

• コン pact な混合エキスパート (MoE) モデルを用いて、複数の大きな公開画像データセット (例: COCO, OpenImages) をインデックスし、データ分布のパターンを捉える。
• インデックスされたデータセット上で MoE モデルを学習させ、異なる視覚的コンセプトごとにエキスパート固有の表現を学習する。
• クライアントの小さなラベル付きターゲットデータセットを用いて、各エキスパートのターゲットタスクにおける正確性を評価し、データの有用性の代理指標とする。
• クライアントのデータにおけるエキスパートのパフォーマンスに基づき、サーバーがインデックスしたデータセットからのデータサンプルをランキングし、高効用の例を優先して推薦する。
• 事前学習タスクの種類に応じて MoE モデルを調整することで、教師ありおよび自己教師あり事前学習を両方サポートする (例: インスタンス識別、回転予測など)。
• 公開可能なデータへのリンクを提供することで、データホスティングを回避し、ライセンスおよびプライバシー制約の遵守を確保する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルでプライバシーを守る検索エンジンは、特定のターゲットドメインに対して最も有用な事前学習データを効果的に同定できるか？
• RQ2 コン pact な MoE モデルは、大規模データセットを正確に表現し、転移学習のためのデータ選択を効果的に導けるか？
• RQ3 たとえば 20% のデータに制限した高効用サブセットを選択することで、ランダムサンプリングや全データセット事前学習よりも優れた下流タスクのパフォーマンスが得られるか？
• RQ4 NDS のパフォーマンスは、さまざまな下流タスクにおいて、標準的な ImageNet 事前学習と比べて正確性と効率の点で優れているか？
• RQ5 NDS フレームワークは自己教師あり事前学習のパラダイムに一般化可能か？また、事前学習タスクの選択がデータ選択の有効性にどのように影響するか？

主な発見

• NDS は、全データセットの 20% のみを用いても、画像分類、オブジェクト検出、インスタンスセグメンテーションのタスクで SOTA のパフォーマンスを達成した。
• Cityscapes データセットでは、NDS が選択した事前学習データでマスク AP が 54.62%（23K 枚の画像）を達成し、均一サンプリング（54.01%）を上回り、全データセット事前学習の結果と同等の性能を示したが、データ量を著しく削減した。
• RotNet を用いた自己教師あり事前学習では、NDS が選択したデータが均一サンプリング（72.59%）に対して 0.31% の向上（72.85%）を示し、対照的学習の文脈でも有効性を示した。
• MoCo 事前学習では、NDS が選択したデータで Oxford-IIIT Pets でトップ-1 正確度 61.49% を達成し、均一サンプリング（60.25%）を上回り、全データセット性能（67.54%）に近い結果を得た。
• NDS は、事前学習に必要なデータ量を 538 GB からわずか 26 GB に削減し、全データセット事前学習と同等またはそれ以上のパフォーマンスを達成した。トレーニング時間も週単位から数日単位に短縮された。
• 本手法はゼロショットおよび自己教師あり設定にも一般化可能であり、クライアントにラベル付きデータが存在しない場合でも、MoE モデル上のプロキシタスクのパフォーマンスを活用することで、一貫した向上を示した。