[論文レビュー] ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization

Qishi Dong, Muhammad Awais+6 more|arXiv (Cornell University)|Oct 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

ZooDは、ドメイン外一般化（OoD）のスケーラブルなパラダイムを提案する。これは、モデルズーから事前学習モデル（PTM）を、交差検証による1ドメイン除外法を用いて、クラス間の識別性とドメイン間安定性を評価する新しい指標に基づきランク付け・アンサンブル化することで実現される。さらに、特徴選択に変分EMアルゴリズムを適用することで、ブルートフォース微調整に比べ最大9859倍の高速化を達成し、推論時間を2662.27 GPU時間から0.27 GPU時間まで短縮するとともに、DomainNetにおける精度を46.5%から50.6%まで向上させる。

ABSTRACT

Recent advances on large-scale pre-training have shown great potentials of leveraging a large set of Pre-Trained Models (PTMs) for improving Out-of-Distribution (OoD) generalization, for which the goal is to perform well on possible unseen domains after fine-tuning on multiple training domains. However, maximally exploiting a zoo of PTMs is challenging since fine-tuning all possible combinations of PTMs is computationally prohibitive while accurate selection of PTMs requires tackling the possible data distribution shift for OoD tasks. In this work, we propose ZooD, a paradigm for PTMs ranking and ensemble with feature selection. Our proposed metric ranks PTMs by quantifying inter-class discriminability and inter-domain stability of the features extracted by the PTMs in a leave-one-domain-out cross-validation manner. The top-K ranked models are then aggregated for the target OoD task. To avoid accumulating noise induced by model ensemble, we propose an efficient variational EM algorithm to select informative features. We evaluate our paradigm on a diverse model zoo consisting of 35 models for various OoD tasks and demonstrate: (i) model ranking is better correlated with fine-tuning ranking than previous methods and up to 9859x faster than brute-force fine-tuning; (ii) OoD generalization after model ensemble with feature selection outperforms the state-of-the-art methods and the accuracy on most challenging task DomainNet is improved from 46.5\% to 50.6\%. Furthermore, we provide the fine-tuning results of 35 PTMs on 7 OoD datasets, hoping to help the research of model zoo and OoD generalization. Code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/zood.

研究の動機と目的

• 分布シフトがモデル性能を低下させる中で、大規模な事前学習モデル（PTM）ズーを効率的に活用するOoD一般化の課題に対処すること。
• 計算的に非現実的であるため、すべてのPTMの組み合わせに対するブルートフォース微調整の代替としてスケーラブルな手法を開発すること。
• ドメイン不変特徴の質に基づいてPTMをランク付けし、ノイズの蓄積を減らすために情報量の多い特徴を選択することで、OoD一般化を向上させること。
• 35のPTMについて、微調整結果、特徴埋め込み、ランクスコアを含む再現可能なベンチマークを提供すること。

提案手法

• 各PTMのクラス間識別性とドメイン間安定性を評価するための1ドメイン除外法による交差検証戦略を提案し、OoD一般化能力のランク付け指標として用いる。
• 異なるドメイン間で抽出された特徴の安定性と識別性を数量化し、その結果に基づいてPTMをランク付けすることで、未観測分布へも一般化しやすいモデルを特定する。
• 特徴に潜在マスクを導入した変分EMアルゴリズムを用いて、効率的な特徴選択を実現し、アンサンブルモデルにおけるノイズ低減を図る。
• 真の事後分布の分解可能な変分近似を用い、局所推定子を用いた確率的近似により、大規模データセットへの拡張を実現する。
• 選択の一貫性を保証するため、逆ガンマハイパーパラメータを備えたベイジアン階層的事前分布モデルを導入する。
• Office-HomeやDomainNetを含む7つのOoDデータセットにわたり、35の多様なPTMからなるズーを用いて、包括的な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 クラス間識別性とドメイン間安定性に基づくランク付け指標は、従来のIIDベースの指標に比べ、PTMのOoDタスクにおける微調整性能をよりよく予測できるか？
• RQ2 PTMズーからの特徴選択を伴うモデルアンサンブルは、最先端手法に比べてOoD一般化をどの程度向上できるか？
• RQ3 すべてのPTMの組み合わせに対する全探索的微調整に比べ、ZooDはどの程度の高速化を達成できるか？
• RQ4 提案された特徴選択機構は、ノイズを効果的に低減するとともに、不変特徴を保持できるか？
• RQ5 提案されたフレームワークは、選択の一貫性と性能を維持したまま大規模データセットへスケーリング可能か？

主な発見

• 提案されたランク付け指標は、実際の微調整性能と強く相関しており、従来のIIDベースの指標を上回り、OoD一般化能力の予測において優れた性能を示した。
• ZooDはブルートフォース微調整に比べ9859倍の高速化を達成し、推論時間を2662.27 GPU時間から0.27 GPU時間まで短縮した。
• 挑戦的なDomainNetベンチマークでは、精度を46.5%（ベースライン）から50.6%まで向上させ、以前のSOTA手法を上回った。
• Office-Homeでは、平均85.1%の精度を達成し、以前のSOTA（70.6%）を大きく上回った。
• 変分EMに基づく特徴選択法は高い選択一貫性を達成し、n ≤ dの場合でもTPRが90%以上、n > dの場合にはFPRがほぼ0%に近づいた。
• 多様なPTMとOoDデータセットにわたり、強力な耐性とスケーラビリティを示した。