[論文レビュー] i-Mix: A Strategy for Regularizing Contrastive Representation Learning

Kibok Lee, Yian Zhu+4 more|arXiv (Cornell University)|Oct 17, 2020

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

i-Mix は、入力空間およびラベル空間の両方でデータインスタンスとその対応する仮想クラスを混合することで、対照的表現学習の正則化戦略を提案する。視覚的・非視覚的ドメインの両方で自己教師あり表現の質を向上させ、下流タスクにおける一貫した性能向上を達成する。

ABSTRACT

Contrastive representation learning has shown to be an effective way of learning representations from unlabeled data. However, much progress has been made in vision domains relying on data augmentations carefully designed using domain knowledge. In this work, we propose i-Mix, a simple yet effective regularization strategy for improving contrastive representation learning in both vision and non-vision domains. We cast contrastive learning as training a non-parametric classifier by assigning a unique virtual class to each data in a batch. Then, data instances are mixed in both the input and virtual label spaces, providing more augmented data during training. In experiments, we demonstrate that i-Mix consistently improves the quality of self-supervised representations across domains, resulting in significant performance gains on downstream tasks. Furthermore, we confirm its regularization effect via extensive ablation studies across model and dataset sizes.

研究の動機と目的

• 視覚ドメインにおける対照的学習が手動で設計されたデータ拡張に依存することを是正すること。
• 視覚ドメインを超えて適用可能な汎用的な正則化戦略の開発。
• ドメイン固有の拡張設計を必要とせずに自己教師あり表現の質を向上させること。
• 一貫して下流性能を向上させる、シンプルだが効果的な手法の提供。

提案手法

• i-Mix は、ミニバッチ内の各データサンプルに対して固有の仮想クラスを導入することで、対照的学習を非パrametric分類器の学習に再定式化する。
• 混合係数を用いて、ペアのサンプルを入力空間で補間することでデータ混合を実行する。
• 同じ混合係数を用いて、対応する仮想クラスラベルを同時に混合する。
• 混合されたサンプルとその混合仮想ラベルを用いて対照的損失を計算する。
• 標準的な対照的学習目的（例：InfoNCE）と互換性がある。
• 追加パラメータを導入せず、任意の対照的学習フレームワークに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の拡張に依存せずに、単純なデータ混合戦略が対照的表現学習を改善できるか？
• RQ2 入力空間および仮想ラベル空間の両方で混合を行うと、表現の質にどのような影響を与えるか？
• RQ3 i-Mix は異なるモデルアーキテクチャおよびデータセットサイズに一般化可能か？
• RQ4 i-Mix は下流の線形評価および微調整性能にどのような影響を与えるか？
• RQ5 正則化効果の観点から、i-Mix は標準的なデータ拡張戦略と比較して優れているか？

主な発見

• i-Mix は複数の視覚的および非視覚的データセットにおいて、自己教師あり表現の質を一貫して向上させる。
• 下流の線形評価および微調整ベンチマークにおいて顕著な性能向上を達成する。
• アブレーションスタディにより、異なるモデルおよびデータセットサイズにおける i-Mix の正則化効果が確認される。
• 標準的な拡張が既に適用されている状況でも改善が観察され、追加的利点であることが示される。
• 追加のパラメータやアーキテクチャ変更なしに有効である。
• 複数の設定において、標準的な拡張を用いたベースライン対照的学習を上回る性能を発揮する。