[論文レビュー] On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning

Diane R. Wagner, Fábio Furlan Ferreira+4 more|arXiv (Cornell University)|Jul 16, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本論文は、ハイパーパramータとデータ拡張が自己教師あり学習（SSL）のパフォーマンスに著しく影響することを示している。特にSimSiamにおいて顕著である。著者らはベイズ最適化を用いてハイパーパrameterと拡張戦略を最適化し、CIFAR-10、CIFAR-100、DermaMNISTの各データセットで性能を向上させた。さらに、グループ化された拡張を最適化する新しい自動データ拡張手法GroupAugmentを提案した。この手法は、SOTA（最先端）の線形評価精度を達成し、ベースラインおよび従来の教師あり学習に基づく拡張アルゴリズムを上回った。

ABSTRACT

Self-Supervised Learning (SSL) has become a very active area of Deep Learning research where it is heavily used as a pre-training method for classification and other tasks. However, the rapid pace of advancements in this area comes at a price: training pipelines vary significantly across papers, which presents a potentially crucial confounding factor. Here, we show that, indeed, the choice of hyperparameters and data augmentation strategies can have a dramatic impact on performance. To shed light on these neglected factors and help maximize the power of SSL, we hyperparameterize these components and optimize them with Bayesian optimization, showing improvements across multiple datasets for the SimSiam SSL approach. Realizing the importance of data augmentations for SSL, we also introduce a new automated data augmentation algorithm, GroupAugment, which considers groups of augmentations and optimizes the sampling across groups. In contrast to algorithms designed for supervised learning, GroupAugment achieved consistently high linear evaluation accuracy across all datasets we considered. Overall, our results indicate the importance and likely underestimated role of data augmentation for SSL.

研究の動機と目的

• 自己教師あり学習（SSL）のパフォーマンスにハイパーパrameterとデータ拡張が与える影響を調査すること。
• モデル崩壊を引き起こしやすいハイパーパrameterは何か、パフォーマンスに最も影響を与えるハイパーパrameterは何かを特定すること。
• 教師あり学習向けに設計された既存の手法の制限を補うために、SSLに特化した自動データ拡張手法を開発すること。
• 最適化されたデータ拡張が、手動による直感が不足する状況においても、線形評価精度を顕著に向上させられることを示すこと。
• 標準設定を上回る、体系的かつハイパーパrameter最適化を施したSSLのベースラインを提供すること。

提案手法

• 著者らは、SimSiam SSLフレームワークにおけるハイパーパrameterとデータ拡張戦略の探索に、エキスパートの事前知識を組み込んだベイズ最適化を用いた。
• 学習率、重み減衰、最適化手法、および色のジャマ、ガウスノイズ、ソーラリゼーションといったデータ拡張ハイパーパramータを含む、探索空間を定義した。
• GroupAugmentは、グループ化された拡張を最適化する新しい自動データ拡張アルゴリズムとして導入された。グループ固有のサンプリング確率、グループごとの拡張数、および総合的な拡張数を最適化する。
• 既存の手法を一般化するもので、拡張のグループ化を柔軟に可能にし、SelfAugmentとは異なり拡張セットに制約を課さない。
• GroupAugmentは、多様な拡張方針の探索空間においてベイズ最適化を用い、手動で設計されたSSL戦略に類似した組み合わせも含む。
• 著者らは、同じ計算リソース制約下で、GroupAugmentを標準的な教師あり学習ベースの拡張アルゴリズム（例：RandAugment、TrivialAugment）および最適化済みSimSiam拡張戦略と比較した。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterとデータ拡張戦略は、SimSiamのような自己教師あり学習モデルのパフォーランスにどのように影響を与えるか？
• RQ2 誤って設定された場合、どのハイパーパrameterがモデル崩壊を引き起こしやすいか？
• RQ3 教師あり学習向けに設計された自動データ拡張が、自己教師あり学習に効果的に転用可能か、それとも異なる戦略が求められるか？
• RQ4 自動探索によるデータ拡張の最適化が、SSLにおける多様なデータセットで一貫したパフォーマンス向上をもたらすか？
• RQ5 グループ化された拡張を考慮する新しい自動拡張手法が、標準的および最適化済みベースラインの拡張戦略を上回る性能を発揮できるか？

主な発見

• GroupAugmentは、3つのデータセットすべてで最高の線形評価精度を達成した：CIFAR-10で93.0% ± 0.1、DermaMNISTで68.0% ± 0.3、CIFAR-100で66.3% ± 0.4を記録し、ベースラインのSimSiamおよび他のすべての拡張手法を上回った。
• 標準的な教師あり学習ベースの拡張アルゴリズム（例：RandAugment）をSSLに適用すると、ほとんどのデータセットでパフォーマンスが低下し、CIFAR-100では59.3% ± 0.5まで低下した。
• GroupAugmentと同等の計算リソースでSimSiamの拡張戦略を最適化した場合、CIFAR-10で92.7% ± 0.1、CIFAR-100で67.9% ± 0.3のパフォーマンスが得られたが、GroupAugmentは依然として優れていた。
• 本研究は、データ拡張がSSLにおいて極めて重要であり、しばしば軽視されがちな要因であることを確認した。最適化された戦略は、標準的または手動で設計されたものよりも顕著な向上をもたらした。
• ハイパーパrameterと拡張のベイズ最適化により、すべてのデータセットで一貫したパフォーマンス向上が得られ、SSLにおける体系的ハイパーパramータ探索の価値を示した。
• GroupAugmentは、手動で設計されたSSL戦略に類似した拡張方針を効果的に発見できており、多様なデータ分布に一般化できる能力を有していることが裏付けられた。