[論文レビュー] An Empirical Study towards Characterizing Deep Learning Development and Deployment across Different Frameworks and Platforms

Qianyu Guo, Sen Chen+7 more|arXiv (Cornell University)|Sep 15, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 12

ひとこと要約

本研究は、深層学習フレームワークやプラットフォームが、さまざまな環境下でのモデル開発およびデプロイに与える影響を実証的に調査している。同一の設定下で精度、耐性、パフォーマンスを評価することにより、著者たちは、フレームワークやプラットフォーム間でのモデルの移行や量子化において、予測精度や信頼性に顕著な差が生じることを明らかにした。これは、実世界のデプロイに影響を及ぼす深刻なソフトウェアバグや互換性の問題を露呈している。

ABSTRACT

Deep Learning (DL) has recently achieved tremendous success. A variety of DL frameworks and platforms play a key role to catalyze such progress. However, the differences in architecture designs and implementations of existing frameworks and platforms bring new challenges for DL software development and deployment. Till now, there is no study on how various mainstream frameworks and platforms influence both DL software development and deployment in practice. To fill this gap, we take the first step towards understanding how the most widely-used DL frameworks and platforms support the DL software development and deployment. We conduct a systematic study on these frameworks and platforms by using two types of DNN architectures and three popular datasets. (1) For development process, we investigate the prediction accuracy under the same runtime training configuration or same model weights/biases. We also study the adversarial robustness of trained models by leveraging the existing adversarial attack techniques. The experimental results show that the computing differences across frameworks could result in an obvious prediction accuracy decline, which should draw the attention of DL developers. (2) For deployment process, we investigate the prediction accuracy and performance (refers to time cost and memory consumption) when the trained models are migrated/quantized from PC to real mobile devices and web browsers. The DL platform study unveils that the migration and quantization still suffer from compatibility and reliability issues. Meanwhile, we find several DL software bugs by using the results as a benchmark. We further validate the results through bug confirmation from stakeholders and industrial positive feedback to highlight the implications of our study. Through our study, we summarize practical guidelines, identify challenges and pinpoint new research directions.

研究の動機と目的

• 異なる深層学習フレームワークやプラットフォームが、モデル開発およびデプロイの質に与える影響を理解すること。
• 同じ設定下でフレームワーク間で予測精度の差が生じる要因を特定すること。
• PCからモバイルおよびWebプラットフォームへのモデル移行および量子化の信頼性とパフォーマンスを評価すること。
• フレームワークおよびプラットフォームの差異に起因する深層学習ソフトウェアバグを同定および検証すること。
• クロスプラットフォームでの深層学習デプロイを改善するための実用的ガイドラインを提供し、新たな研究分野を同定すること。

提案手法

• TensorFlow や PyTorch などの複数のフレームワークを用いて、2つのDNNアーキテクチャと3つの標準データセットを用いた体系的実験を実施した。
• 同じランタイム設定と共有されたモデル重み・バイアスを用いて、フレームワーク固有の差を隔離して予測精度を評価した。
• 標準的な攻撃手法を用いて敵対的耐性を評価し、フレームワーク間でのモデルの一貫性をテストした。
• PCで訓練したモデルを、実際のモバイルデバイスおよびWebブラウザ（TensorFlow Lite、Core ML、TensorFlow.jsを介して）に移行・量子化した。
• クロスプラットフォームデプロイにおける推論時間、メモリ消費量、精度の低下の観点からパフォーマンスへの影響を測定した。
• 産業界からのフィードバックおよびステークホルダーの確認を通じて、実世界のソフトウェアバグを検証した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 同じランタイム設定または同一のモデル重み・バイアスを使用した場合、異なる深層学習フレームワーク間で予測精度はどのように変化するか？
• RQ2 RQ2: 同じ設定と重みで訓練した場合、敵対的耐性はフレームワーク間でどのように異なるか？
• RQ3 RQ3: PCからモバイルおよびWebプラットフォームに移行・量子化する際、精度およびパフォーマンスにどのような影響が生じるか？
• RQ4 RQ4: 異なるプラットフォーム間でのモデル移行および量子化において、どのような互換性および信頼性の問題が生じるか？
• RQ5 RQ5: デプロイ段階で、フレームワークおよびプラットフォームの差異によってどのような深層学習ソフトウェアバグが生じるか？

主な発見

• 同じ重みとハイパーパrameterを用いても、異なるフレームワークにモデルをデプロイすると顕著な予測精度の低下が生じる。
• 同じ訓練設定であっても、敵対的耐性はフレームワークによって顕著に異なるため、フレームワーク依存のモデル挙動が示唆される。
• PCからモバイルおよびWebプラットフォームへのモデル移行および量子化は、プラットフォーム固有の実装差が主因となって測定可能な精度の低下を引き起こす。
• 推論時間やメモリ消費量といったパフォーマンス指標は、プラットフォーム間で顕著に異なるほか、一部のプラットフォームでは予期しないオーバーヘッドが発生する。
• ステークホルダーによる確認を通じて、量子化およびテンソル計算モジュールに特に顕著な実際の深層学習ソフトウェアバグが同定された。
• 本研究は、クロスプラットフォームでの一貫性と標準化されたモデル変換パイプラインの構築が、信頼できるデプロイを実現する上で極めて重要であることを明らかにした。