[論文レビュー] Improving Transferability of Representations via Augmentation-Aware Self-Supervision

Hankook Lee, Kibok Lee+3 more|arXiv (Cornell University)|Nov 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 8

ひとこと要約

この論文では、同じ画像の2つの拡張ビュー間の拡張パラメータ（例：クロップ位置、色彩強度）の違いを学習することで、表現の転送可能性を向上させる補助的自己教師あり損失であるAugSelfを提案する。拡張に依存する情報を保持することで、計算コストを最小限に抑えつつ、22件の転送学習シナリオのうち20件、11件の教師あり事前学習設定のうち9件で一貫して性能向上を達成する。

ABSTRACT

Recent unsupervised representation learning methods have shown to be effective in a range of vision tasks by learning representations invariant to data augmentations such as random cropping and color jittering. However, such invariance could be harmful to downstream tasks if they rely on the characteristics of the data augmentations, e.g., location- or color-sensitive. This is not an issue just for unsupervised learning; we found that this occurs even in supervised learning because it also learns to predict the same label for all augmented samples of an instance. To avoid such failures and obtain more generalizable representations, we suggest to optimize an auxiliary self-supervised loss, coined AugSelf, that learns the difference of augmentation parameters (e.g., cropping positions, color adjustment intensities) between two randomly augmented samples. Our intuition is that AugSelf encourages to preserve augmentation-aware information in learned representations, which could be beneficial for their transferability. Furthermore, AugSelf can easily be incorporated into recent state-of-the-art representation learning methods with a negligible additional training cost. Extensive experiments demonstrate that our simple idea consistently improves the transferability of representations learned by supervised and unsupervised methods in various transfer learning scenarios. The code is available at https://github.com/hankook/AugSelf.

研究の動機と目的

• 拡張不変表現学習の限界、すなわち色や空間的配置といった拡張固有の情報を無視してしまう点を是正すること。
• 色に敏感な、または位置に敏感なタスクのような、このような拡張固有の手がかりに依存する下流タスクにおける表現の転送可能性を向上させること。
• 既存の自己教師ありおよび教師あり表現学習フレームワークに簡単に統合できる汎用的で低コストな手法を開発すること。
• 教師あり事前学習でも、補助損失を通じて拡張に依存する知識を保持することで恩恵を受けることの実証。

提案手法

• AugSelfは、同一画像の2つの拡張ビュー間の拡張パラメータの差を予測する補助的自己教師あり損失を導入する。
• モデルは、クロップ位置や色彩ジャイタ強度などのパラメータ差を回帰する小さな予測ヘッドを訓練する。
• 自己教師あり学習では、標準の対照的または非対照的目的と併せて損失を適用し、トレーニングオーバーヘッドは無視できるほど小さい。
• 対照的（例：SimCLR）および非対照的（例：SimSiam、BYOL）の両方の手法と互換性があり、ランダムクロップや色彩ジャイタなどの標準的な拡張と組み合わせて使用可能。
• 教師あり事前学習においても有効であり、標準的なトレーニングにおけるデータ拡張による不変性を緩和する。
• 拡張パラメータの差を学習可能な回帰タスクとしてモデル化することで、標準の不変性ベースの目的で失われる有用な情報を保持できる。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に対する不変性を学習することが、下流タスクにおける転送可能性を損なう状況は何か？
• RQ2 拡張に依存する情報を保持することで、多様な下流タスクにおける表現の一般化性能が向上するか？
• RQ3 拡張に依存する自己教師あり学習を、既存の自己教師ありおよび教師あり学習フレームワークに効率的に統合する方法は何か？
• RQ4 補助損失は、拡張不変性が既に強制されている標準的な教師あり事前学習でも、転送可能性を向上させるか？
• RQ5 本手法は、異なる拡張タイプや下流タスクタイプ、特に少データ設定（few-shot）に対しても一般化可能か？

主な発見

• AugSelfは、MoCo や SimSiam などの教師なし手法の22件のテスト転送学習シナリオのうち20件で性能向上を達成した。
• 9件の評価済み教師あり事前学習設定のうち9件で、教師あり事前学習でも性能向上を示した。これは、教師なし学習を超えた恩恵を示している。
• AugSelfは、標準的な拡張不変手法が性能を発揮しない色に敏感なベンチマーク（例：Flowers）でも一貫して性能向上を示した。
• 追加の予測ヘッドと最小限の計算のみを必要とするため、トレーニングコストは無視できるほど低い。
• 少データ学習（few-shot）設定でも有効であり、低データ環境におけるロバストネスと一般化性能を示した。
• 追加の拡張サンプルを必要とするか、対照的学習に限定される既存の拡張に依存する手法よりも優れた性能を示した。