[論文レビュー] No One Representation to Rule Them All: Overlapping Features of Training Methods

Raphael Gontijo-Lopes, Yann Dauphin+1 more|arXiv (Cornell University)|Oct 20, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は、教師あり学習や対照的事前学習といった異なる訓練手法が、相関のない誤差と特化した特徴表現を持つモデルを生成することを示しており、これが非常に効果的なアンサンブルを可能にすると述べている。異なる目的やデータで訓練されたモデルを組み合わせることで、低精度のモデルですらアンサンブル性能を向上させることができ、特に高精度のモデルと組み合わせることで、Pascal VOCで86.7%の精度を達成した。

ABSTRACT

Despite being able to capture a range of features of the data, high accuracy models trained with supervision tend to make similar predictions. This seemingly implies that high-performing models share similar biases regardless of training methodology, which would limit ensembling benefits and render low-accuracy models as having little practical use. Against this backdrop, recent work has developed quite different training techniques, such as large-scale contrastive learning, yielding competitively high accuracy on generalization and robustness benchmarks. This motivates us to revisit the assumption that models necessarily learn similar functions. We conduct a large-scale empirical study of models across hyper-parameters, architectures, frameworks, and datasets. We find that model pairs that diverge more in training methodology display categorically different generalization behavior, producing increasingly uncorrelated errors. We show these models specialize in subdomains of the data, leading to higher ensemble performance: with just 2 models (each with ImageNet accuracy ~76.5%), we can create ensembles with 83.4% (+7% boost). Surprisingly, we find that even significantly low-accuracy models can be used to improve high-accuracy models. Finally, we show diverging training methodology yield representations that capture overlapping (but not supersetting) feature sets which, when combined, lead to increased downstream performance.

研究の動機と目的

• 異なる手法で訓練された高性能モデルが、類似したバイアスを持つのか、あるいは行動の多様性を示すのかを調査すること。
• 異なる手法で訓練された低精度のモデルが、高精度のモデルと組み合わせることでアンサンブル性能に寄与できるのかを特定すること。
• 異なる訓練手法から得られる表現が、重複するが包含関係にない特徴を捉え、下流の性能を向上させることを検証すること。
• 訓練手法がモデルの一般化行動と誤差相関に与える影響を評価すること。
• 特徴の多様性が転移学習とアンサンブル効率において果たす役割を探索すること。

提案手法

• 著者らは、ハイパーパrameter、アーキテクチャ、訓練目的、フレームワーク、データセットの多様性を考慮し、CLIP、ALIGN、SimCLR、BiT、ViT-G/14、MPLを含む最先端モデルを含む、合計82のモデルを訓練または収集した。
• モデルペアは、再初期化からデータセットまでの訓練手法の差異に基づいて評価され、ImageNetにおける誤差相関が測定された。
• アンサンブル性能は、モデルペアの予測を平均化することで評価され、ImageNetおよびPascal VOCにおける精度が測定された。
• スタックド一般化は、2つのモデルの特徴埋め込みを連結し、下流タスクで線形ヘッドを微調整することで適用された。
• 予測の多様性は、Pascal VOCにおける11ポイントmAPを測定し、ImageNet精度と比較することで分析された。
• サブドメイン特化は、自然画像と人為的画像のサブセットにおけるモデル性能を分析することで評価され、異なるデータサブドメインで特徴的な強みが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 顕著に異なる訓練手法で訓練されたモデルは、個々の精度が類似している場合でも、相関のない誤差を示すのか？
• RQ2 異なる手法で訓練された低精度のモデルは、高精度のモデルと組み合わせることで、依然としてアンサンブル性能を向上させることができるのか？
• RQ3 異なる目的で訓練されたモデルは、重複するが包含関係にない特徴集合を学習し、それらを組み合わせることで下流性能が向上するのか？
• RQ4 訓練目的とデータ分布の選択が、データサブドメインにおけるモデル特化に与える影響は何か？
• RQ5 個々のモデルの精度よりも、予測の多様性の方が下流性能の予測に優れているのか？

主な発見

• 訓練手法の差異が大きいモデルペア—特に目的とデータの面で—は、ますます相関のない誤差を示し、結果としてより高いアンサンブル精度を達成した。
• 標準的なResNet-50（ImageNet精度76.5%）と最も差異の大きいモデル、ALIGN-ZS（精度75.5%）をアンサンブルすると、83.4%の精度に達し、+7%の向上を示した。
• 対照的に訓練されたモデル、たとえばCLIP-Sは人為的画像に特化している一方、ResNet-50は自然画像に優れていることから、サブドメイン特化が確認された。
• 高精度モデル（BiT-1k、精度82.9%）と低精度モデル（最大77.4%）を組み合わせることで、Pascal VOCでは最大86.7%のアンサンブル精度を達成した。
• 異なる手法で訓練されたモデルの特徴埋め込みをペairワイズに連結した結果、Pascal VOCで91.4%の精度を達成し、最高精度の単一モデル（90.7%）を上回った。
• 下流タスクで最も優れた性能を示したモデルの組み合わせには、ImageNetで最高精度を記録したモデル（MPL）は含まれていなかった。これは、多様性がアンサンブル性能において、単なる精度を上回ることを示唆している。