[論文レビュー] Scalable Diverse Model Selection for Accessible Transfer Learning

Daniel Bolya, Rohit Mittapalli+1 more|arXiv (Cornell University)|Nov 12, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、トランスファーラーニングにおける大規模で多様なモデルライブラリから最適な事前学習モデルを効率的に選択するためのフレームワーク、スケーラブルで多様なモデル選択（Scalable Diverse Model Selection）を紹介する。本稿では、特徴統計と学習可能なアダプタを活用して、高い精度と低コストな推論でファインチューニング性能を予測するPARCという手法を提案する。この手法は、ベンチマークデータセットにおけるピアソン相関係数で、既存手法を最大2.5%上回る性能を達成した。

ABSTRACT

With the preponderance of pretrained deep learning models available off-the-shelf from model banks today, finding the best weights to fine-tune to your use-case can be a daunting task. Several methods have recently been proposed to find good models for transfer learning, but they either don't scale well to large model banks or don't perform well on the diversity of off-the-shelf models. Ideally the question we want to answer is, "given some data and a source model, can you quickly predict the model's accuracy after fine-tuning?" In this paper, we formalize this setting as "Scalable Diverse Model Selection" and propose several benchmarks for evaluating on this task. We find that existing model selection and transferability estimation methods perform poorly here and analyze why this is the case. We then introduce simple techniques to improve the performance and speed of these algorithms. Finally, we iterate on existing methods to create PARC, which outperforms all other methods on diverse model selection. We have released the benchmarks and method code in hope to inspire future work in model selection for accessible transfer learning.

研究の動機と目的

• トランスファーラーニングのための、大量で多様なオフザシェルモデルのライブラリから最適な事前学習モデルを選択する課題に対処すること。
• スケーラブルで多様なモデル選択の問題を、明確なベンチマーキングと評価タスクとして形式化すること。
• 多様で大規模なモデルバンクに適用された際の、既存のトランスファーブリティ推定およびモデル選択手法の欠陥を特定すること。
• 多様なモデル選択における性能とスケーラビリティを向上させる新しい手法、PARCの開発と評価。
• 再現可能な評価とアクセシブルなトランスファーラーニング分野における今後の研究を可能にするために、標準化されたベンチマークとコードを公開すること。

提案手法

• 8つのソースデータセット、6つのターゲットデータセット、4つのアーキテクチャを用いて、168の真値ファインチューニング転送を含む制御されたベンチマークを定義し、モデル選択手法の評価を実施する。
• 完全なファインチューニングを伴わずに、ソースモデルからの正規化済み特徴を用いた特徴ベースのプロキシタスクを導入し、下流のパフォーマンスを予測する。
• ソースモデルの特徴とタスク固有のプロジェクションヘッドを組み合わせて、トランスファーブリティを予測する学習可能なアダプタモジュール（PARC）を提案する。
• 単純なヒューリスティックを適用して、モデル間で特徴統計を正規化することで、多様なアーキテクチャや事前学習データに対して一般化性能を向上させる。
• ボクセルワイドなベクトルにバウンディングボックスのアノテーションを集約することで、オブジェクト検出にPARCを拡張する。
• すべてのベンチマークで、予測スコアと実際のファインチューニング済みmAPのピアソン相関を主評価指標として使用する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャや事前学習データが多様な大規模で多様なモデルバンクにスケーリングされた際、既存のトランスファーブリティ推定およびモデル選択手法はどの程度の性能を示すか？
• RQ2 現在の手法が多様なモデル選択において失敗する主な要因は何か？ また、その一般化性能の劣化に寄与するアーキテクチャ的要因や統計的要因は何か？
• RQ3 タスク固有のファインチューニングやターゲットデータへの追加学習を必要としない、軽量でスケーラブルな手法を設計できるか？
• RQ4 特徴統計の正規化と学習可能なアダプタを予測ヘッドに組み込むことで、性能はどの程度向上するか？
• RQ5 提案手法は、画像分類を越えて、オブジェクト検出のような他のタスクにも一般化可能か？

主な発見

• 既存の最先端のトランスファーブリティ推定およびモデル選択手法は、提案された多様なモデル選択ベンチマークにおいて、1-NNのような単純なベースラインを下回り、平均ピアソン相関係数で51.35%にとどまる。
• PARCは、主なベンチマークで平均52.04%のピアソン相関係数を達成し、RSA や DDS を含むすべての他の手法を統計的に有意に上回った。
• 65のソースモデルと423件の転送を含むより大規模で多様なベンチマークでも、PARCは52.04%の相関係数を維持し、モデルの多様性に対して高いロバストネスを示した。
• オブジェクト検出に拡張した場合、PARCはVOC2007でmAPと92.20%の相関を達成し、1-NN（89.67%）を上回り、RSA や DDS に近い性能にまで到達した。ただし、RSA や DDS はターゲットタスクでの追加学習を必要としている。
• PARCにおける特徴正規化と学習可能なアダプタの導入により、アーキテクチャや事前学習データの多様性が著しく高い状況でも、一般化性能が顕著に向上した。
• 特に多様性が極めて高いクラウドソーシングされたモデルを含む最も挑戦的な設定においても、PARCは52.04%の相関係数を達成し、実世界のシナリオにおけるスケーラビリティと実用的価値を示した。