[論文レビュー] Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning

Victor G. Turrisi da Costa, Enrico Fini+3 more|arXiv (Cornell University)|Aug 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 42

ひとこと要約

solo-learn は、視覚表現の自己教師あり学習の最先端手法を標準化された再利用可能な実装として提供する、分散トレーニング、高速データ読み込み、オンライン線形評価、容易な拡張性などの機能を備えた PyTorch ベースのオープンソースライブラリです。

ABSTRACT

This paper presents solo-learn, a library of self-supervised methods for visual representation learning. Implemented in Python, using Pytorch and Pytorch lightning, the library fits both research and industry needs by featuring distributed training pipelines with mixed-precision, faster data loading via Nvidia DALI, online linear evaluation for better prototyping, and many additional training tricks. Our goal is to provide an easy-to-use library comprising a large amount of Self-supervised Learning (SSL) methods, that can be easily extended and fine-tuned by the community. solo-learn opens up avenues for exploiting large-budget SSL solutions on inexpensive smaller infrastructures and seeks to democratize SSL by making it accessible to all. The source code is available at https://github.com/vturrisi/solo-learn.

研究の動機と目的

• 視覚表現学習の自己教師あり学習メソッドの使いやすく、拡張可能なライブラリを提供する。
• 効率的なパイプラインで小規模なインフラ上の学習を可能にし、SSL の民主化を図る。
• SSL メソッド間の公正で再現性のある比較を可能にする標準化された実装を提供する。
• Detectron2 統合を通じたオブジェクト検出などの下流タスクをサポートする。

提案手法

• PyTorch で 12 の最先端 SSL 手法を実装：Barlow Twins、BYOL、DeepCluster V2、DINO、MoCo V2+、NNCLR、ReSSL、SimCLR、SimSiam、SwAV、VICReg、W-MSE。
• PyTorch Lightning、分散トレーニング、混合精度、Nvidia DALI を用いたデータ読み込みの高速化を備えたモジュール型学習パイプラインを構築。
• 下流タスク向けの pretrained モデルへの迅速なアクセスと迅速なプロトタイピングのためのオンライン線形評価を提供。
• 自動 UMAP 可視化、ViT および Swin を含む多様なバックボーン、Detectron2 へのスムーズな統合による物体検出サポートを含む。
• CIFAR-10、CIFAR-100、ImageNet-100 でハイパーパラメータを調整してオンライン評価性能を確保することを目標としたベンチマークを実施。

実験結果

リサーチクエスチョン

• RQ1 最先端 SSL 手法を統一された拡張可能なライブラリで実装した場合の比較はどうなるか。
• RQ2 SSL パイプラインにおける DALI と分散トレーニングの実用的な性能（精度、速度、メモリ）はどうなるか。
• RQ3 研究者と実務家は小規模なハードウェア上で SSL モデルを効率的にプロトタイプ・展開し、競争力のある結果を維持できるか。
• RQ4 事前学習済み SSL 特徴が Detectron2 を介したオブジェクト検出などの下流タスクへどの程度転移するか。

主な発見

手法	CIFAR-10 精度@1	CIFAR-10 精度@5	CIFAR-100 精度@1	CIFAR-100 精度@5	ImageNet-100 精度@1	ImageNet-100 精度@5
Barlow Twins	92.10	99.73	70.90	91.91	80.38 (80.16)	95.28 (95.14)
BYOL	92.58	99.79	70.46	91.96	80.16 (80.32)	94.80 (94.94)
DeepCluster V2	88.85	99.58	63.61	88.09	75.36 (75.40)	93.22 (93.10)
DINO	89.52	99.71	66.76	90.34	74.84 (74.92)	92.92 (92.78)
MoCo V2+	92.94	99.79	69.89	91.65	78.20 (79.28)	95.50 (95.18)
NNCLR	91.88	99.78	69.62	91.52	79.80 (80.16)	95.28 (95.28)
ReSSL	90.63	99.62	65.92	89.73	76.92 (78.48)	94.20 (94.24)
SimCLR	90.74	99.75	65.78	89.04	77.04 (77.48)	94.02 (93.42)
SimSiam	90.51	99.72	66.04	89.62	74.54 (78.72)	93.16 (94.78)
SwAV	89.17	99.68	64.88	88.78	74.04 (74.28)	92.70 (92.84)
VICReg	92.07	99.74	68.54	90.83	79.22 (79.40)	95.06 (95.02)
W-MSE	88.67	99.68	61.33	87.26	67.60 (69.06)	90.94 (91.22)

• ライブラリは BYOL、DINO、VICReg、NNCLR などを含む 12 の SSL 手法を実装しており、幅広く標準化されたテストベッドを提供する。
• CIFAR-10、CIFAR-100、ImageNet-100 におけるオンライン線形評価の結果を報告し、手法間で競争力のある精度を示している（例: Barlow Twins: CIFAR-10 Acc@1 92.10, CIFAR-100 Acc@1 70.90, ImageNet-100 Acc@1 70.90）。
• NVIDIA DALI の使用によりデータ読み込みが高速化され、トレーニングの実行時間が大幅に短縮される（Table 2 は DALI の有無による実行時間の有意な短縮を示す）。
• フレームワークは1–8 GPU での効率的な訓練をサポートし、小規模なインフラでの実践的な SSL 実験を可能にする。
• 事前学習済みチェックポイントは再現性と迅速な展開を促進するために公開されている。