[論文レビュー] Torch.manual_seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision

David Picard|arXiv (Cornell University)|Sep 16, 2021

Advanced Neural Network Applications被引用数 39

ひとこと要約

この論文はランダムシードがCVモデルの精度に与える影響を調査し、シード誘発のばらつきは大規模データセットと事前学習モデルがある場合でも顕著になり得ることを示し、成果報告時の randomness の報告を呼びかけている。

ABSTRACT

In this paper I investigate the effect of random seed selection on the accuracy when using popular deep learning architectures for computer vision. I scan a large amount of seeds (up to $10^4$) on CIFAR 10 and I also scan fewer seeds on Imagenet using pre-trained models to investigate large scale datasets. The conclusions are that even if the variance is not very large, it is surprisingly easy to find an outlier that performs much better or much worse than the average.

研究の動機と目的

• CIFAR-10およびImageNetの実験における乱数シード間でのモデル精度の分布を評価する。
• 性能におけるシード誘導のアウトライヤー（ブラックスワン）の存在と大きさを特定する。
• より大規模なデータセットでの事前学習がCVモデルのシード誘導のばらつきを緩和するかを評価する。
• 結果報告における乱数性に関する堅牢な実験実践について指針を提供する。

提案手法

• CIFAR-10でResNet9を500個のシード（長時間訓練）および10,000個のシード（短時間訓練）で訓練し、収束安定性とシード変動性を評価する。
• ImageNet上でResNet50（教師ありおよびSSL）とSSL ViTを用いて事前学習済みモデルを評価し、セットごとに50シードで最終精度のばらつきを測定する。
• モーメンタムとウェイト減衰を用いたSGDを使用し、コサインアニーリングを適用する。最終収束統計量（平均、標準偏差、最小、最大）を比較する。
• 再現性を可能にするためコードと結果を公開する（GitHub: deepseed）。
• 現実的な研究設定を模擬するため、実験を約1000 GPU-時間の予算内に制約する。

実験結果

リサーチクエスチョン

• RQ1 収束後の乱数シード間の精度の分布はどうなるか？
• RQ2 著しく良いまたは悪い性能を生むシード構成（ブラックスワン）は存在するか？
• RQ3 より大規模なデータセットでの事前学習はImageNetの下流のファインチューニングにおけるシード誘起のばらつきを減らすか？

主な発見

• 長時間訓練を行ったCIFAR-10では、最終精度の分布は平均付近に集中し、ばらつきが小さい（平均 90.70, 標準偏差 0.20, 最小 90.14, 最大 91.41）。
• CIFAR-10で10,000個のシード（短時間訓練）では、最大/最小の差が1.82パーセンテージポイント（89.01%から90.83%）となり、シードが実質的に異なる結果を生み得ることを示す。
• 事前学習済みモデルを用いたImageNetでは、シード誘導のばらつきは小さく（標準偏差 ~0.1%）、それでも存在する（最小〜最大の差 ~0.5%）、大規模な事前学習があってもシードは結果に影響を与え得ることを示す。
• 事前学習済みの重みから開始してもシード変動は残るため、より大規模なデータセットや事前学習は乱数性を低減するが排除はしない。
• 本研究は、近年の多くのCV結果が暗黙のシード探索によって過大評価されうると主張し、複数のシードに対する平均、標準偏差、最小、最大の報告を推奨する。