[論文レビュー] Guarding Barlow Twins Against Overfitting with Mixed Samples

Wele Gedara Chaminda Bandara, Celso M. de Melo+1 more|arXiv (Cornell University)|Dec 4, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文では、入力空間におけるMixUpデータ拡張を適用することで特徴空間における線形補間を誘発することにより、バーロウツインズ自己教師強化学習フレームワークにおける過学習を緩和する正則化手法であるMixed Barlow Twinsを提案する。この手法により、CIFAR-10、CIFAR-100、TinyImageNet、STL-10、ImageNetの下流タスクで、表現の過学習を低減し、混合サンプルの相互相関整合性に基づく追加の正則化損失によって一般化性能を向上させることで性能が向上する。

ABSTRACT

Self-supervised Learning (SSL) aims to learn transferable feature representations for downstream applications without relying on labeled data. The Barlow Twins algorithm, renowned for its widespread adoption and straightforward implementation compared to its counterparts like contrastive learning methods, minimizes feature redundancy while maximizing invariance to common corruptions. Optimizing for the above objective forces the network to learn useful representations, while avoiding noisy or constant features, resulting in improved downstream task performance with limited adaptation. Despite Barlow Twins' proven effectiveness in pre-training, the underlying SSL objective can inadvertently cause feature overfitting due to the lack of strong interaction between the samples unlike the contrastive learning approaches. From our experiments, we observe that optimizing for the Barlow Twins objective doesn't necessarily guarantee sustained improvements in representation quality beyond a certain pre-training phase, and can potentially degrade downstream performance on some datasets. To address this challenge, we introduce Mixed Barlow Twins, which aims to improve sample interaction during Barlow Twins training via linearly interpolated samples. This results in an additional regularization term to the original Barlow Twins objective, assuming linear interpolation in the input space translates to linearly interpolated features in the feature space. Pre-training with this regularization effectively mitigates feature overfitting and further enhances the downstream performance on CIFAR-10, CIFAR-100, TinyImageNet, STL-10, and ImageNet datasets. The code and checkpoints are available at: https://github.com/wgcban/mix-bt.git

研究の動機と目的

• 強力な事前学習がなされているにもかかわらず、特徴の過学習が下流性能を低下させるバーロウツインズにおける問題に対処すること。
• 教師あり学習で一般的に用いられるMixUp正則化が、非対照的でInfoMaxベースのSSL手法（バーロウツインズなど）に効果的に適応可能かどうかを調査すること。
• 特徴空間における線形補間に基づく正則化項を導入することで、バーロウツインズにおけるサンプル間相互作用と表現一般化を向上させること。
• 多様なデータセットおよびバックボーンアーキテクチャを用いた実験により、提案手法の有効性を実証すること。
• 最小限のハイパーパrameterチューニングで一貫した性能向上を達成できる、バーロウツインズへの最小限のコード拡張を提供すること。

提案手法

• 本手法は、入力空間における線形補間が特徴空間でも成立すると仮定するMixUpに基づく正則化損失を導入する。
• バッチごとに、ベータ分布に従う混合係数αを用いて2つのランダムサンプルを混合し、混合入力y_m = α * y_a + (1 - α) * y_bを生成する。
• ネットワークは混合サンプルy_mの埋め込みz_mを出力し、z_mと元の視覚z_a、z_bとの間の相互相関行列を計算する。
• 特徴空間における線形補間を仮定し、元の相互相関行列の重み付き平均として真の相互相関行列を構築する。
• 正則化損失は、予測された相互相関行列と真の相互相関行列との間のL2距離として定義され、元のバーロウツインズ損失に加算される。
• 本手法は、標準的なバーロウツインズ実装に最小限のコード変更を加えるだけで実現可能であり、主にMixUpの順伝播と追加の損失項の追加が主な変更点である。

Figure 1 : Assessing the representation quality via $k$ -NN accuracy on the test-set during SSL training on train-set for information maximization-based Barlow Twins [ 74 ] vs. contrastive learning-based SimCLR [ 14 ] , on CIFAR-10 [ 42 ] dataset.

実験結果

リサーチクエスチョン

• RQ1 バーロウツインズの目的関数は、埋め込み次元が増加するにつれて事前学習中に過学習を示すのか？
• RQ2 教師あり学習で一般的に用いられるMixUp正則化が、非対照的でInfoMaxベースの自己教師強化学習に効果的に適応可能か？
• RQ3 入力空間における線形補間を誘発することで、バーロウツインズにおける特徴一般化が向上し、過学習が低減するか？
• RQ4 CIFAR-10、ImageNet、TinyImageNetなどの多様なデータセットで最適な性能を発揮するハイパーパrameter設定は何か？
• RQ5 提案されたMixed Barlow Twins手法は、複数のベンチマークで一貫して下流のk-NNおよび線形プローブ精度を向上させるか？

主な発見

• ResNet-18とプロジェクタ次元1,024を用いた場合、CIFAR-10およびCIFAR-100では、標準的なバーロウツインズに比べてk-NN精度が0.9%絶対的に向上した。
• TinyImageNetでは、最適な設定（プロジェクタ次元1,024、λ_reg = 4.0）で、ベースラインに比べてk-NN精度が1.2%向上した。
• STL-10では、λ_reg = 2.0が最良の結果をもたらし、k-NN精度が1.0%向上した。
• ImageNetでは、λ_reg = 1.0とプロジェクタ次元8192を用いた場合、元のバーロウツインズに比べて線形プローブ精度が0.8%向上した。
• 本手法は、小さなデータセットで標準的なバーロウツインズに見られる後期の訓練エポックにおける性能劣化を一貫して防止した。
• すべてのデータセットにおいて最適なプロジェクタ次元は1,024であり、λ_BTはデータセットに応じて1/dまたは0.0078125に設定された。

Figure 2 : Schematic of the proposed Mixed Barlow Twins. (a) Original Barlow Twins Algorithm [ 74 ] . (b) Proposed MixUp regularization technique to prevent Barlow Twins from overfitting and to further enhance the representation quality.