[論文レビュー] Frustrated with Replicating Claims of a Shared Model? A Solution

Abdul Dakkak, Cheng Li+2 more|arXiv (Cornell University)|Nov 24, 2018

Machine Learning and Data Classification参考文献 47被引用数 7

ひとこと要約

本論文では、環境のプロビジョニングとパrameter管理を自動化することで、再現可能で繰り返し可能な深層学習モデルの評価を可能にする、標準化された仕様およびランタイムシステムであるMLModelScopeを提案する。ハードウェア／ソフトウェアの不一致に起因する再現不能な失敗を低減し、多様なシステムや構成において、Top-1で0.55%以内、Top-5で0.31%以内のほぼ同一の精度を達成した。

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) innovations are being introduced at such a rapid pace that model owners and evaluators are hard-pressed analyzing and studying them. This is exacerbated by the complicated procedures for evaluation. The lack of standard systems and efficient techniques for specifying and provisioning ML/DL evaluation is the main cause of this "pain point". This work discusses common pitfalls for replicating DL model evaluation, and shows that these subtle pitfalls can affect both accuracy and performance. It then proposes a solution to remedy these pitfalls called MLModelScope, a specification for repeatable model evaluation and a runtime to provision and measure experiments. We show that by easing the model specification and evaluation process, MLModelScope facilitates rapid adoption of ML/DL innovations.

研究の動機と目的

• 異なるハードウェア、ソフトウェア、構成設定の不一致によって生じる深層学習モデルの主張再現の困難さという広範な課題に対処すること。
• モデル所有者が複雑な評価手順を手動で文書化する負担を軽減すること。
• モデル評価者が膨大なデバッグや逆コンパイルを伴わずに、信頼性のある再現性を確保できるようにすること。
• フレームワーク、ハードウェアプラットフォーム、ソフトウェアスタックの多様性にわたるモデル評価の標準化を図ること。
• 多様な環境においてスケーラブルで拡張可能かつ一貫性のある深層学習モデルの比較を可能にすること。

提案手法

• モデルアーキテクチャ、入力前処理、推論設定を含む、モデル評価パrameterを標準化するテキストベースの仕様フォーマットの設計。
• 仕様を解釈して、評価に適した正しいハードウェア／ソフトウェアスタックを自動的にプロビジョニングするランタイムシステムの構築。
• 複数のディープラーニングフレームワーク（例：PyTorch、TensorFlow、Caffe）およびハードウェアプラットフォーム（x86、ARM、Power、CPU、GPU、FPGA）のサポート。
• 評価結果を複数のシステムにわたって集約するためのデータ収集パイプラインの実装。
• 実行パrameterを記録し、再現性を保証するためのプロビジョナントラッキングの統合。
• 誤った入力クロッピング、データレイアウトエラー、フレームワーク固有の設定問題といった一般的な落とし穴を検出・防止するための仕様の活用。

実験結果

リサーチクエスチョン

• RQ1 異なるシステムや構成において、深層学習モデル評価の失敗の主な原因は何であるか？
• RQ2 多様なハードウェアおよびソフトウェアスタックにわたる一貫性があり再現可能な結果を得るためには、どのようにモデル評価を標準化できるか？
• RQ3 入力前処理やデータレイアウトといった微細な設定パrameterが、モデル評価時の精度差にどのように影響を及えるか？
• RQ4 仕様ベースのアプローチにより、詳細な文書化が不要な状態で、モデル所有者が再現可能なモデルを共有するための作業負荷をどれほど軽減できるか？
• RQ5 手動評価と比較して、提案されたシステムが多様な環境における精度のばらつきをどの程度低減できるか？

主な発見

• MLModelScopeは、複数のAWS P3インスタンスにおいて、報告されたモデルの精度をTop-1で0.55%以内、Top-5で0.31%以内に再現した。
• 適切な入力中央クロッピングを適用しないと、Top-1精度が1.45%〜7.5%低下し、Top-5精度が0.36%〜4.22%低下した。
• データレイアウトの落とし穴は極めて低い精度を引き起こし、モデル評価の信頼性に深刻な影響を与えることが確認された。
• コードと重みが公開されていても、報告されていないまたは誤った設定パrameterのため、モデル評価者が頻繁に結果を再現できなかった。
• 誤ったフレームワークバージョン、欠落した依存関係、不一致した前処理といった一般的な落とし穴を効果的に緩和し、多様な環境で一貫した評価を可能にした。
• 仕様ベースのアプローチにより、手動でのデバッグや逆コンパイルの必要性が著しく低下し、モデル再現の障壁が大幅に低下した。