[論文レビュー] MetAug: Contrastive Learning via Meta Feature Augmentation

Jiangmeng Li, Wenwen Qiang+3 more|arXiv (Cornell University)|Mar 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

MetAugは、表現空間における潜在特徴を直接強化することで、対照的自己教師あり学習を向上させるメタラーニングベースの特徴拡張フレームワークを提案する。エンコーダーの性能フィードバックにより更新されるメタ特徴拡張生成器と、最適化駆動型の統一的対照的損失を用いることで、小さなバッチサイズでも最先端の性能を達成し、弱いデータ拡張に対しても頑健である。

ABSTRACT

What matters for contrastive learning? We argue that contrastive learning heavily relies on informative features, or "hard" (positive or negative) features. Early works include more informative features by applying complex data augmentations and large batch size or memory bank, and recent works design elaborate sampling approaches to explore informative features. The key challenge toward exploring such features is that the source multi-view data is generated by applying random data augmentations, making it infeasible to always add useful information in the augmented data. Consequently, the informativeness of features learned from such augmented data is limited. In response, we propose to directly augment the features in latent space, thereby learning discriminative representations without a large amount of input data. We perform a meta learning technique to build the augmentation generator that updates its network parameters by considering the performance of the encoder. However, insufficient input data may lead the encoder to learn collapsed features and therefore malfunction the augmentation generator. A new margin-injected regularization is further added in the objective function to avoid the encoder learning a degenerate mapping. To contrast all features in one gradient back-propagation step, we adopt the proposed optimization-driven unified contrastive loss instead of the conventional contrastive loss. Empirically, our method achieves state-of-the-art results on several benchmark datasets.

研究の動機と目的

• バッチサイズが小さい場合に、従来の対照的学習が情報量の多い特徴を効率的に活用できないという制限に対処すること。
• 限定的なデータ下で特徴が収束する問題（特徴の崩壊）を克服すること。
• 大規模なデータ拡張やメモリバンクに依存することを減らし、潜在空間における特徴の情報量を直接的に向上させること。
• エンコーダーのフィードバックに基づいて、情報をもつ特徴拡張を適応的に生成するメタラーニングベースのフレームワークを開発すること。
• 性能の低下を伴わずに、通常のニューラルネットワークと小さな学習バッチを用いて、効率的かつスケーラブルな対照的学習を可能にすること。

提案手法

• 潜在空間において、ビュー固有の特徴拡張を学習するメタ特徴拡張生成器（MAG）を導入する。
• メタラーニングを用いて、ある訓練イテレーションにおけるエンコーダーの性能に基づきMAGのパラメータを更新し、適応的な拡張を実現する。
• エンコーダーが退化したマッピングを学習するのを防ぐために、目的関数にマージンを組み込んだ正則化を適用する。
• すべての元の特徴と拡張された特徴を一度のバックプロパゲーションステップで対照する最適化駆動型の統一的対照的損失を提案する。
• 重み係数Γの変種̄Γ = Γ / φ_decを用いる。ここでφ_decは線形減衰係数であり、早期収束を防ぐために用いる。
• 手法を分解可能にすることで、MetAugを既存の最先端の対照的学習フレームワーク（例：CMC, NNCLR）に統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 潜在特徴の直接的な拡張は、対照的自己教師あり学習における表現の情報量を向上させることができるか？
• RQ2 メタラーニングを活用することで、潜在空間において適応的かつ性能駆動の特徴拡張を生成できるか？
• RQ3 提案手法は、従来の対照的学習と比較して、小さなバッチサイズの学習設定下でも特徴の崩壊を緩和するか？
• RQ4 自己教師あり学習で一般的に用いられる弱いまたは標準的なデータ拡張に対して、MetAugはどの程度頑健か？
• RQ5 統一的対照的損失とマージンを組み込んだ正則化は、最適化の安定性と表現品質を効果的に向上させることができるか？

主な発見

• MetAugは、CIFAR-10、CIFAR-100、Tiny ImageNetといった複数のベンチマークデータセットで、小さなバッチサイズの学習設定下でも最先端の性能を達成した。
• ResNet-50バックボーンを用いたCIFAR-10では、MetAugが線形評価のトップ-1精度92.7%を達成し、以前の最先端手法を上回った。
• 弱いデータ拡張（例：水平反転と回転のみ）の下でも、MetAugは性能がたった1.60%低下したのに対し、LooCは2.44%低下したため、強い頑健性を示した。
• ̄Γ = Γ / φ_decの変種は顕著に性能を向上させ、畳み込みエンコーダーを用いたTiny ImageNetではφ_dec = 6でピーク精度が達成された。
• CMC や NNCLR といった既存の最先端フレームワークに対しても、MetAugはさまざまなバックボーンで一貫して下流の線形評価精度を向上させた。
• 手法は強力な一般化能力を示しており、アーキテクチャの変更なしに、多様なエンコーダーとデータセットで性能を向上させた。