[論文レビュー] Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning

Victor G. Turrisi da Costa, Enrico Fini+3 more|arXiv (Cornell University)|Aug 3, 2021

Domain Adaptation and Few-Shot Learning被引用数 61

ひとこと要約

solo-learn は、視覚表現学習のための最先端の自己教師なし学習(SSL)手法を大規模に実装する、分散トレーニング・高速データロード・オンライン線形評価・容易な拡張性を備えたオープンソースの PyTorch ベースのライブラリです。

ABSTRACT

This paper presents solo-learn, a library of self-supervised methods for visual representation learning. Implemented in Python, using Pytorch and Pytorch lightning, the library fits both research and industry needs by featuring distributed training pipelines with mixed-precision, faster data loading via Nvidia DALI, online linear evaluation for better prototyping, and many additional training tricks. Our goal is to provide an easy-to-use library comprising a large amount of Self-supervised Learning (SSL) methods, that can be easily extended and fine-tuned by the community. solo-learn opens up avenues for exploiting large-budget SSL solutions on inexpensive smaller infrastructures and seeks to democratize SSL by making it accessible to all. The source code is available at https://github.com/vturrisi/solo-learn.

研究の動機と目的

• 視覚表現学習のための最先端SSL手法を広く含む、再利用可能でモジュール化されたライブラリを実装する。
• 標準化された実装・高速データ読み込み・オンライン線形評価を提供することで、実験の容易さと再現性を高める。
• 予算の小さい研究者が効率的に手法を訓練・比較できるように、SSLを民主化する。
• 下流タスクや事前学習済みモデルの活用のためのユーティリティを統合し、プロトタイピングとデプロイを加速する。

提案手法

• PyTorch で 13 の SSL 手法を実装: Barlow Twins、BYOL、DeepCluster V2、DINO、MoCo V2+、NNCLR、ReSSL、SimCLR、Supervised Contrastive Learning、SimSiam、SwAV、VICReg、そして W-MSE。
• パラメータ処理用の solo.args、SSL 手法用の solo.methods、損失関数用の solo.losses、データ処理と拡張パイプライン用の solo.utils、分散・混合精度学習のための PyTorch Lightning トレーナーといった、別々のコンポーネントからなるモジュラー・パイプラインを設計した。
• 高速なデータ読み込みのために Nvidia DALI を利用し、混合精度とオンライン線形評価をサポートして迅速なプロトタイピングを実現。
• 下流の物体検出タスクのための事前学習済みモデルと DetectronV2 への簡易統合を提供。
• CIFAR-10、CIFAR-100、ImageNet-100 で SSL 手法をベンチマークし、いくつかの手法でハイパーパラメータ調整を行い、競争力のある結果を達成。
• VISSL と Lightly と比較し、よりモダンな手法のサポート、少ないリソースでのトレーニング、自動 UMAP 可視化などの追加ユーティリティを強調。

実験結果

リサーチクエスチョン

• RQ1 統一的で拡張性のあるライブラリは、広範な SSL 手法にわたる公正で再現性のある比較を可能にするか。
• RQ2 モデストなハードウェアでの SSL ワークロードにおいて、現代的なデータローダー（Nvidia DALI）と混合精度/分散学習を使用する実用的な利点（速度、メモリ、使いやすさ）は何か。
• RQ3 標準ベンチマーク（CIFAR-10/100、ImageNet-100）におけるオンライン線形評価で現代の SSL 手法はどのように性能を示し、従来のライブラリとどう比較されるか。
• RQ4 solo-learn の事前学習済み SSL モデルは DetectronV2 などの下流タスクの物体検出に容易に使用できるか。

主な発見

• solo-learn は PyTorch で 13 の SSL 手法の標準化された実装を提供し、再現と比較を容易にする。
• このライブラリは、分散トレーニング、混合精度のサポート、Nvidia DALI を用いた高速データ読み込み、およびオンライン線形評価を提供して、プロトタイピングを加速する。
• ベンチマーク結果は、CIFAR-10、CIFAR-100、ImageNet-100 において複数の手法で競争力のあるオンライン線形評価精度を示し、オリジナルの報告を上回るようハイパーパラメータを調整。
• 関連ライブラリ（VISSL、Lightly）と比較して、solo-learn はより現代的な SSL 手法をサポートし、より小さな GPU 予算の研究者を対象としつつ、自動化された線形評価や UMAP 可視化といった追加ユーティリティを提供。
• 実験は、ImageNet-100 でデータ読み込みに DALI を使用する際、トレーニング時間の短縮とメモリ使用量の削減を示している。