[論文レビュー] Weighted Ensemble Self-Supervised Learning

Yangjun Ruan, Saurabh Singh+5 more|arXiv (Cornell University)|Nov 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、表現バックボーンを変更せずに複数のプロジェクションヘッドにデータに依存する重み付き交差エントロピー損失を適用する、軽量で効率的なアンサンブル手法を提案する。不確実性や多様性に基づいてアンサンブルヘッドの重みを動的に割り当てることで、特に少データ設定（few-shot）において下流性能が向上し、ImageNet-1K における 1-shot 学習で MSN ViT-B/16 よりも 3.9 パercantage point の向上を達成する。

ABSTRACT

Ensembling has proven to be a powerful technique for boosting model performance, uncertainty estimation, and robustness in supervised learning. Advances in self-supervised learning (SSL) enable leveraging large unlabeled corpora for state-of-the-art few-shot and supervised learning performance. In this paper, we explore how ensemble methods can improve recent SSL techniques by developing a framework that permits data-dependent weighted cross-entropy losses. We refrain from ensembling the representation backbone; this choice yields an efficient ensemble method that incurs a small training cost and requires no architectural changes or computational overhead to downstream evaluation. The effectiveness of our method is demonstrated with two state-of-the-art SSL methods, DINO (Caron et al., 2021) and MSN (Assran et al., 2022). Our method outperforms both in multiple evaluation metrics on ImageNet-1K, particularly in the few-shot setting. We explore several weighting schemes and find that those which increase the diversity of ensemble heads lead to better downstream evaluation results. Thorough experiments yield improved prior art baselines which our method still surpasses; e.g., our overall improvement with MSN ViT-B/16 is 3.9 p.p. for 1-shot learning.

研究の動機と目的

• 表現バックボーンのアーキテクチャを変更せずに、自己教師あり学習（SSL）の性能を向上させるための効率的なアンサンブル手法を提案すること。
• SSL におけるアンサンブルの潜在的価値がまだ十分に探求されていないことを踏まえ、アンサンブルヘッドにデータに依存する重み付け方式を導入すること。
• 適応的重み付けによるアンサンブルの多様性の向上が、より良い下流一般化性能をもたらすことを示すこと。
• 特に低データ環境（例：少データ学習）において、最小限の学習および推論オーバーヘッドで顕著な性能向上を達成すること。

提案手法

• 共有の表現エンコーダと複数の独立したプロジェクションヘッド（アンサンブルメンバー）を同時に学習するフレームワークを構築し、バックボーンを変更しない。
• 教師の予測（例：エントロピー、分散、確率に基づく重み付け）に基づいて、アンサンブルヘッドの重みを動的に割り当てる一連の重み付き交差エントロピー損失を導入する。
• 非正規化された交差エントロピーと非正規化されたKLダイバージェンスを用いて、 jointly convex かつ微分可能な損失関数を導出することで、安定した学習を可能にする。
• エントロピーに基づく重み付け（Ent）と分散に基づく重み付けを用い、不確実性または多様性の高い予測を優先することで、モデルのロバスト性を向上させる。
• アンサンブルは学習時のみに適用；最終的なモデルでは単一の表現エンコーダを使用するため、推論時に追加コストが生じない。
• 重み付き損失関数を用いる：$\mathcal{L}^{\text{Ent}}_n(\theta) = \frac{1}{n}\sum_x \sum_i \text{softmax}_i(-\frac{1}{\gamma}\mathsf{H}[t_{i'}(Y|x)]) \cdot \mathsf{H}^\times[t_i(Y|x), s(Y|\theta_i,x)]$、ここで注目すべきは高エントロピーの教師予測に注力されること。

実験結果

リサーチクエスチョン

• RQ1 推論コストの増加や表現バックボーンの変更なしに、アンサンブルが自己教師あり学習の性能向上に寄与できるか？
• RQ2 アンサンブルヘッドに適用する異なるデータに依存する重み付け方式が、モデルの多様性と下流性能に与える影響は何か？
• RQ3 適応的重み付けによるアンサンブルの多様性の向上が、特に少データ学習においてより良い一般化性能をもたらすか？
• RQ4 提案手法が DINO や MSN に適用された場合、最先端の SSL ベースラインを上回るか？
• RQ5 エントロピー、均等、確率に基づく重み付けといった重み付け方式が、表現品質と不確実性推定に与える影響は何か？

主な発見

• 本手法は、ImageNet-1K における 1-shot 線形評価で MSN ViT-B/16 よりも 3.9 パーセンテージポイントの向上を達成し、従来の最先端ベースラインを顕著に上回った。
• エントロピーに基づく重み付け（Ent）を用いたアンサンブルが最良の性能を示し、不確実性に配慮した重み付けがモデルの多様性と一般化性能を向上させることを示した。
• DINO では 1-shot 学習で最大 7.5 パーセンテージポイントの向上を達成し、1-、2-、5-shot の全設定で一貫した向上を示した。
• アブレーションスタディの結果、多様性を促進する重み付け方式（例：Ent、Var）が、均等または確率に基づく重み付けよりも優れた下流性能をもたらすことが分かった。
• 本フレームワークは、最小限の学習コストと推論時のオーバーヘッド（ゼロ）でこれらの向上を達成しており、推論時には単一の表現エンコーダが使用される。
• 標準的手法で改善されたベースラインですら、本手法がそれらを上回ることから、アンサンブル機構自体の有効性が示された。