[論文レビュー] Non-Determinism in TensorFlow ResNets

Miguel Morin, Matthew Willetts|arXiv (Cornell University)|Jan 30, 2020

Advanced Neural Network Applications参考文献 3被引用数 12

ひとこと要約

この論文は、重み初期化とデータシャッフルのランダムシードを固定しても、TensorFlowにおけるResNet学習におけるテスト精度および損失のばらつきの74–87%を占める主な要因がGPUの非決定的性質であることを示している。著者らは、モデルの堅牢性と再現可能性を確保するため、単一の測定値による精度比較ではなく、性能の分布を用いた評価の導入を提唱する。

ABSTRACT

We show that the stochasticity in training ResNets for image classification on GPUs in TensorFlow is dominated by the non-determinism from GPUs, rather than by the initialisation of the weights and biases of the network or by the sequence of minibatches given. The standard deviation of test set accuracy is 0.02 with fixed seeds, compared to 0.027 with different seeds---nearly 74\% of the standard deviation of a ResNet model is non-deterministic. For test set loss the ratio of standard deviations is more than 80\%. These results call for more robust evaluation strategies of deep learning models, as a significant amount of the variation in results across runs can arise simply from GPU randomness.

研究の動機と目的

• TensorFlow上でのResNet学習におけるGPU非決定的性質が性能ばらつきに与える寄与を分離・定量すること。
• GPUに起因する確率的性質が、重み初期化やミニバッチ順序の他のランダム要因を上回ることを示すこと。
• 単一の測定値によるモデル評価という標準的手法に疑問を呈し、モデルの改善を分布ベースで評価することを提唱すること。
• GPUプラットフォームにおけるシードベースの再現可能性の限界を強調することで、深層学習研究における再現性を促進すること。

提案手法

• 重み初期化とデータシャッフルのランダムネスを制御するため、TensorFlowのグラフレベル・演算レベル・NumPyのシードを固定した。
• GPUリセットコマンド（例：`nvidia-smi -rac`）を用いて、トレーニングラン間での状態依存的ばらつきを最小限に抑えた。
• 同一のシードを用いて50回、変動するシードを用いて50回、CIFAR-10でResNet-50を学習させ、GPU非決定的性質を分離した。
• 固定シードと変動シードの両方の実行において、テスト精度および損失の標準偏差を測定・比較し、GPUの影響を定量化した。
• 固定シード下での学習済み重みおよびレイヤーパラメータの等価性を検証することで、再現性の有無を確認した。
• GPUアーキテクチャおよびコンパイラ実装における浮動小数点演算の不一致が、非決定的性質の根本的要因であると分析した。

実験結果

リサーチクエスチョン

• RQ1 GPU非決定的性質が、他のランダム要因と比較して、TensorFlow上でのResNet学習における性能ばらつきにどの程度寄与しているか。
• RQ2 重み初期化およびミニバッチ順序の固定シードによって、GPU上でのResNet学習における性能ばらつきが完全に排除できるか。
• RQ3 GPUレベルの浮動小数点非決定的性質が、テスト精度および損失の標準偏差に与える定量的影響は何か。
• RQ4 観察された非決定的性質は、深層学習研究における単一測定値によるモデル評価の信頼性にどのように影響を与えるか。

主な発見

• 重み初期化およびミニバッチ順序のシードを固定した状態でも、50回の実行におけるテスト精度の標準偏差は1.995×10⁻²に達し、GPU非決定的性質に起因する残存ばらつきが示された。
• シードを実行ごとに変更した場合、テスト精度の標準偏差は2.699×10⁻²に上昇し、GPU非決定的性質が全ばらつきの73.9%を占めていることが示された。
• テスト損失に関しては、固定シードと変動シードの標準偏差比が0.872であったため、GPU非決定的性質が80%を超えるばらつきを占めていることが示された。
• 同一のシードと再現可能な乱数生成を採用しても、GPU上ではハードウェアおよびコンパイラ実装の違いに起因する浮動小数点演算の不一致により、結果にばらつきが生じた。
• 観察されたばらつきは、入力が同一でも、システムや実行ごとに異なる非決定的レジスタ使用および浮動小数点和の順序に起因しており、これはGPU固有の特性である。
• 著者らは、GPU非決定的性質が再現性の主な障壁であると結論づけ、単一測定値ではなく、性能の分布を用いたモデル評価を推奨する。