[論文レビュー] Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning

Zhiqiang Shen, Zechun Liu+4 more|arXiv (Cornell University)|Mar 11, 2020

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、学習可能な画像混合とソフトラベル再割り当てを導入することで対照的学習を強化する、非教師付き視覚表現学習のためのシンプルでありながら効果的な手法Un-Mixを提案する。入力空間とラベル空間を同時に操作することで微細な類似度をモデル化することにより、表現のロバスト性と一般化性能が向上し、ハイパーパrameterを変更せずに複数のデータセットおよび手法で一貫して1–3%の精度向上を達成する。

ABSTRACT

The recently advanced unsupervised learning approaches use the siamese-like framework to compare two "views" from the same image for learning representations. Making the two views distinctive is a core to guarantee that unsupervised methods can learn meaningful information. However, such frameworks are sometimes fragile on overfitting if the augmentations used for generating two views are not strong enough, causing the over-confident issue on the training data. This drawback hinders the model from learning subtle variance and fine-grained information. To address this, in this work we aim to involve the distance concept on label space in the unsupervised learning and let the model be aware of the soft degree of similarity between positive or negative pairs through mixing the input data space, to further work collaboratively for the input and loss spaces. Despite its conceptual simplicity, we show empirically that with the solution -- Unsupervised image mixtures (Un-Mix), we can learn subtler, more robust and generalized representations from the transformed input and corresponding new label space. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, SwAV, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods. Code is publicly available at https://github.com/szq0214/Un-Mix.

研究の動機と目的

• データオーグメンテーションの多様性が不十分なために生じる過信と過学習の問題を是正すること。
• 入力空間における混合を用いてポジティブ・ネガティブペア間のソフト類似度モデリングを導入することで、モデルの一般化性能とロバスト性を向上させること。
• 入力空間とラベル空間を同時に変更することで、潜在特徴空間におけるより精密で滑らかな意思決定境界を実現すること。
• 従来の対照的および非対照的非教師付き学習フレームワークに即座に統合可能なプラグアンドプレイな拡張を提供し、計算コストを最小限に抑えること。
• ハイパーパrameterチューニングなしに、多様なデータセットおよびバックボーンアーキテクチャで一貫した性能向上を示すこと。

提案手法

• 2つの入力画像を学習可能な混合比で混合することで、学習可能な画像混合を導入し、新たな訓練サンプルを生成する。
• 混合比に応じて混合ペアのソフトラベルを再割り当てし、類似度の度合いを0から1の連続値としてモデル化する。
• データオーグメンテーション段階で混合操作を適用し、ソフトラベルによる監視のもとで対照的損失に使用される混合ビューを生成する。
• 元の順序と逆順の両方の順伝播を対称的に行い、追加のバックプロパゲーションを回避することで計算効率を維持する。
• SimCLR、BYOL、MoCo、SwAVなどの既存の非教師付きフレームワークに容易に統合可能であり、標準的なオーグメンテーションを混合ベースのビューに置き換える。
• 勾配が混合比を介して流れることを可能にする微分可能混合戦略を採用し、混合プロセスのエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力空間の混合を用いて画像ペア間のソフト類似度モデリングを導入することで、非教師付き表現のロバスト性と一般化性能が向上するか？
• RQ2 入力空間とラベル空間を同時に操作することで、標準的なデータオーグメンテーションと比較して、潜在特徴空間における意思決定境界がより良好になるか？
• RQ3 提案手法の混合戦略が、多様な対照的および非対照的非教師付き学習フレームワークで一貫して性能向上をもたらすか？
• RQ4 性能向上はより良い表現学習によるものか、単に訓練期間が長いことによるものか？また、標準的な訓練期間と比較してどうか？
• RQ5 本手法は、下流タスクにおけるモデルの信頼性と分布シフトに対する感受性にどのように影響を与えるか？

主な発見

• Un-Mixは、SimCLR、BYOL、MoCo V1/V2、SwAVに適用した場合、CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet、ImageNetの複数のデータセットで一貫して1–3%の精度向上を達成する。
• ImageNet線形評価では、同じ24エポックの訓練スケジュールとハイパーパrameterを用いて、MoCo V2にUn-Mixを適用した結果、トップ-1精度が71.1%から71.8%に向上した。
• COCOでのオブジェクト検出では、ベースラインのMoCo V2と比較してAPが0.7–1.2ポイント向上し、AP50およびAP75の両方で0.7ポイントの向上を示した。
• PASCAL VOCでは、Faster R-CNNおよびMask R-CNNの両方でAPが0.3–0.7ポイント向上し、優れた転送性能を示した。
• t-SNE可視化では、Un-Mixは特に意味的に類似したクラスに対して、より分離され、構造的にも整った特徴クラスタを生成することがわかった。
• 追加のフォワードパスコストは1/3未満であり、バックプロパゲーションも追加しないため、計算効率が高く、実装に適している。