[論文レビュー] Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods

Skanda Koppula, Yazhe Li+6 more|arXiv (Cornell University)|Sep 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文は、固定されたFLOP予算下での視覚的自己教師付き事前学習手法の計算効率を評価し、CLIP、DINO、SimCLR、BYOL、MAE、教師ありの6つの手法を5つのデータセットと2種類のViTバックボーンサイズで比較している。CLIPとMAEが最も優れた精度-効率トレードオフを示した一方、JFT-300M や COCO といったキュレーションされていないデータセットでは、高いFLOP使用量にもかかわらず著しく劣った性能を示し、自己教師付き学習がノイズの多いデータにうまくスケーリングできるという仮定に疑問を呈している。

ABSTRACT

Self-supervised methods have achieved remarkable success in transfer learning, often achieving the same or better accuracy than supervised pre-training. Most prior work has done so by increasing pre-training computation by adding complex data augmentation, multiple views, or lengthy training schedules. In this work, we investigate a related, but orthogonal question: given a fixed FLOP budget, what are the best datasets, models, and (self-)supervised training methods for obtaining high accuracy on representative visual tasks? Given the availability of large datasets, this setting is often more relevant for both academic and industry labs alike. We examine five large-scale datasets (JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, and COCO) and six pre-training methods (CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised). In a like-for-like fashion, we characterize their FLOP and CO$_2$ footprints, relative to their accuracy when transferred to a canonical image segmentation task. Our analysis reveals strong disparities in the computational efficiency of pre-training methods and their dependence on dataset quality. In particular, our results call into question the commonly-held assumption that self-supervised methods inherently scale to large, uncurated data. We therefore advocate for (1) paying closer attention to dataset curation and (2) reporting of accuracies in context of the total computational cost.

研究の動機と目的

• 固定されたFLOP予算下での最も計算効率の良い視覚的事前学習手法を特定すること。
• データセットの質とキュレーションが自己教師付き学習の効率性と精度に与える影響を評価すること。
• 対照的学習、自己蒸留、マスク化自己符号化の各手法のFLOP正規化精度の観点から性能を比較すること。
• モデルの性能を単に精度ではなく、総合的な計算コストの文脈で報告することを提唱すること。

提案手法

• JFT-300M、ALIGN、ImageNet-1K、ImageNet-21K、COCO の5つの大規模データセット上で、CLIP、DINO、SimCLR、BYOL、MAE、および教師あり分類の6つの手法を事前学習する。
• ViT-B および ViT-L バックボーンを用いて、モデルサイズのFLOP効率への影響を評価する。
• 同一のハードウェア上で勾配ステップごとのFLOPコストをプロファイリングし、同等のFLOP正規化比較を可能にする。
• すべてのモデルを標準的なViTベースのセマンティックセグメンテーションヘッドに転送し、COCO-2017 および COCO-2017 オブジェクト検出ベンチマークで評価する。
• マスク比率をMAE用に最適化（例：COCOでは65%、他のデータセットでは75%）し、下流タスクの精度と効率を最大化する。
• FLOPsおよびCO2排出量で正規化した結果を報告することで、手法、データセット、モデルサイズ間での公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットとモデルサイズにおいて、どの自己教師付き事前学習手法がFLOPあたりの精度が最も高いか？
• RQ2 データセットのキュレーション水準（例：ImageNet-1K とキュレーションされていないJFT-300M）が、自己教師付き学習の効率性と精度に与える影響はいかほどか？
• RQ3 FLOP効率の良い手法は、固定された計算予算内でより大きなバックボーンを訓練可能にする程度はどの程度か？
• RQ4 自己教師付き手法の性能は、データセットサイズに比例して信頼性高くスケーリングするのか、それとも高品質なキュレーションの方が重要なのか？
• RQ5 同一のFLOP制約下で、CLIPおよびMAEの効率性と精度は、教師あり事前学習と比べてどの程度か？

主な発見

• CLIPは大規模データセットにおいて、FLOP正規化精度が最も高く、セグメンテーションおよびオブジェクト検出の両タスクで教師あり事前学習を上回るか同等の性能を示した。
• MAEは高い絶対的性能を達成し、特にImageNet-1KおよびCOCOにおいて最も効率的な手法の一つであり、セグメンテーションで44.8 mIoU、オブジェクト検出で44.2 mAPを達成した。
• DINO、SimCLR、BYOL といった自己教師付き手法は、同等の性能を得るために最大10倍のFLOPsを要するなど、顕著に低い計算効率を示した。
• キュレーションされていないデータセット（例：JFT-300M や COCO）で事前学習を行うと、FLOP使用量が多くても、キュレーション済みのImageNet-1K/21Kよりも著しく劣った性能を示した。
• マスク化自己符号化（MAE）におけるデコーダーが計算時間の大部分を占めており、特に高いマスク率では、前向き・バックワードパス全体の65％がデコーディングに費やされている。
• MAEに1層の「ティニー」デコーダーを採用することで、75％のマスク率下で壁時計時間は95％短縮され、精度を損なわずに著しく効率が向上した。