[論文レビュー] Rethinking Image Mixture for Unsupervised Visual Representation Learning

Zhiqiang Shen, Zechun Liu+3 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Image and Video Retrieval Techniques参考文献 59被引用数 25

ひとこと要約

本論文では、自己教師あり表現学習中に予測分布をなめららかにするために画像混合を適用する、シンプルで効果的な非教師ありデータ拡張手法Un-Mixを提案する。Mixup風の補間により入力画像を摂動させ、新しい偽ラベルを割り当てることで、SimCLR、BYOL、MoCoなどのベースライン手法に比べ、ハイパーパramーターや学習手順を変更せずに、複数のベンチマークで一貫して1–3%の精度向上を達成する。

ABSTRACT

In supervised learning, smoothing label or prediction distribution in neural network training has been proven useful in preventing the model from being over-confident, and is crucial for learning more robust visual representations. This observation motivates us to explore ways to make predictions flattened in unsupervised learning. Considering that human-annotated labels are not adopted in unsupervised learning, we introduce a straightforward approach to perturb input image space in order to soften the output prediction space indirectly, meanwhile, assigning new label values in the unsupervised frameworks accordingly. Despite its conceptual simplicity, we show empirically that with the simple solution -- Unsupervised image mixtures (Un-Mix), we can learn more robust visual representations from the transformed input. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods.

研究の動機と目的

• 自己教師あり視覚表現学習においてラベルスムージングの欠如によりモデルが過信しすぎてしまう問題に対処すること。
• 人間がアノテートしたラベルに依存せずに、間接的な方法で予測分布をなめらかにする方法を探索すること。
• 自己教師あり学習フレームワークにおける耐性を向上させる、プラグアンドプレイな拡張戦略を開発すること。
• 代表的な非教師あり手法を用いて、標準ベンチマークで入力空間の摂動（画像混合）の有効性を評価すること。
• 既存の学習パイプラインへの最小限の変更で、多様なデータセットとアーキテクチャで一貫した性能向上を示すこと。

提案手法

• Un-Mixは、入力画像のペア間でMixup風の補間を適用して拡張された訓練サンプルを作成する手法を提案する。
• 元の画像のラベルの重み付き平均を用いて、混合画像に偽ラベルを割り当てる。
• モデルレベルのラベルスムージングやアーキテクチャの変更を必要とせず、入力空間で直接画像混合とラベル割り当てを実行する。
• SimCLR、BYOL、MoCo V1、MoCo V2などの既存の自己教師あり学習フレームワークにスムーズに統合可能である。
• 標準的な学習手順とハイパーパramータを用いるため、互換性が高く、導入が容易である。
• 対称的なMixup戦略を採用することで、対照学習およびモーメンタムベースの学習目的の整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 偽ラベル割り当てを伴う入力空間の画像混合は、非教師あり視覚表現の耐性を向上させることができるか？
• RQ2 データ拡張による予測分布のなめらかさの向上は、自己教師あり学習における一般化性能の向上に寄与するか？
• RQ3 Un-Mixのようなシンプルでプラグアンドプレイな手法が、多様なデータセットと非教師あり学習手法で一貫した向上を達成できるか？
• RQ4 Un-Mixによる性能向上はハイパーパramータチューニングやモデルアーキテクチャに依存するか？
• RQ5 他のデータ拡張戦略と比較して、精度と安定性の面でUn-Mixは優れているか？

主な発見

• Un-Mixは、CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet、ImageNetを含む複数の非教師あり学習ベンチマークで、1–3%の一貫した性能向上を達成する。
• ハイパーパramーターや学習手順を一切変更せず、手法の互換性とプラグアンドプレイ性を示している。
• SimCLR、BYOL、MoCo V1、MoCo V2など、さまざまな自己教師あり手法においても安定した向上が観察された。
• 入力空間を摂動させることで予測分布を効果的になめらかにし、モデルの過信を軽減している。
• 実験結果から、Un-Mixは表現品質を向上させ、線形評価プロトコルにおける下流タスクの精度を向上させている。
• 計算効率が高く、追加のモデルパラメーターや複雑な学習スケジュールを必要としない。