[論文レビュー] ModelHub: Towards Unified Data and Lifecycle Management for Deep Learning

Hui Miao, Ang Li+2 more|arXiv (Cornell University)|Nov 18, 2016

Data Quality and Management参考文献 23被引用数 11

ひとこと要約

ModelHubは、深層学習のデータおよびライフサイクル管理のための統合的システムを提案し、モデル探索用のドメイン固有言語（DSL）と、マルチリゾリューション・デルタエンコーディングを用いてストレージを最小限に抑え、クエリパフォーマンスを高速化する新規なパrameterアーカイブストレージ（PAS）を導入する。このシステムは、効率的なバージョニング、プログレッシブな推論、スケーラブルなモデル管理を可能にし、実験ではクエリ評価において高い圧縮比と低い誤差率を達成した。

ABSTRACT

Deep learning has improved state-of-the-art results in many important fields, and has been the subject of much research in recent years, leading to the development of several systems for facilitating deep learning. Current systems, however, mainly focus on model building and training phases, while the issues of data management, model sharing, and lifecycle management are largely ignored. Deep learning modeling lifecycle generates a rich set of data artifacts, such as learned parameters and training logs, and comprises of several frequently conducted tasks, e.g., to understand the model behaviors and to try out new models. Dealing with such artifacts and tasks is cumbersome and largely left to the users. This paper describes our vision and implementation of a data and lifecycle management system for deep learning. First, we generalize model exploration and model enumeration queries from commonly conducted tasks by deep learning modelers, and propose a high-level domain specific language (DSL), inspired by SQL, to raise the abstraction level and accelerate the modeling process. To manage the data artifacts, especially the large amount of checkpointed float parameters, we design a novel model versioning system (dlv), and a read-optimized parameter archival storage system (PAS) that minimizes storage footprint and accelerates query workloads without losing accuracy. PAS archives versioned models using deltas in a multi-resolution fashion by separately storing the less significant bits, and features a novel progressive query (inference) evaluation algorithm. Third, we show that archiving versioned models using deltas poses a new dataset versioning problem and we develop efficient algorithms for solving it. We conduct extensive experiments over several real datasets from computer vision domain to show the efficiency of the proposed techniques.

研究の動機と目的

• 現在の深層学習システムがモデルトレーニングと構築にのみ焦点を当てており、統合的なデータおよびライフサイクル管理が欠如している問題に対処すること。
• 反復的なモデル開発におけるモデルバリアント、ハイパーパラメータ、パフォーマンスメトリクスの追跡負荷を軽減すること。
• 精度を損なわせることなく、大規模なディープニューラルネットワークパラメータのコン pact かつ効率的なストレージを実現すること。
• モデル動作とパフォーマンスを照会するためのSQLにインspiredしたDSLを用いた、高水準で宣言的なモデル探索を可能にすること。
• デルタ圧縮されたモデルパラメータに起因する新しいデータセットバージョニング問題を、効率的でプログレッシブなクエリ評価アルゴリズムで解決すること。

提案手法

• トレーニングとチューニングの低レベルロジックを抽象化し、モデル探索および列挙クエリを表現する、SQLにインspiredした高水準なドメイン固有言語（DSL）を設計する。
• トレーニングイテレーションにわたるモデルスナップショット、ハイパーパラメータ、パフォーマンスメトリクスを追跡するためのモデルバージョニングシステム（dlv）を実装する。
• モデル重みをマルチリゾリューション・デルタエンコーディングで格納し、意味の薄いビットを分離・圧縮することで、読み取りに最適化されたパラメータアーカイブストレージ（PAS）を開発する。
• 摂動誤差解析に基づいて、精度を段階的に取得・デコードするプログレッシブなクエリ評価アルゴリズムを導入する。
• 下位桁のバイトが必要かどうかを決定するために、高次のセグメントベース誤差推定を適用し、推論に不要な精度を最小限に抑える。
• 摂動解析を用いて、精度の低下がモデル精度に与える影響を評価し、ストレージおよびリトリーブ意思決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、モデル探索と列挙を高水準で宣言的インターフェースに抽象化し、深層学習開発を加速できるか？
• RQ2 最小限のストレージフットプリントと低クエリラテンシで、大規模なディープニューラルネットワークパラメータを効率的にストレージおよびリトリーブする方法は何か？
• RQ3 モデルパラメータのデルタベース圧縮を、ストレージとプログレッシブなクエリ評価の両面で最適化するにはどうすればよいか？
• RQ4 アーカイブされたモデルパラメータにおける精度低減と予測精度のトレードオフは何か？そして、それを定量的に管理するにはどうすればよいか？
• RQ5 反復的モデル開発と比較を支援するように、バージョニングされたモデルデータを効率的に管理・照会する方法は何か？

主な発見

• 提案されたDSLは、モデルバリアント、ハイパーパラメータ、パフォーマンスメトリクスの上での宣言的クエリを可能にすることで、モデル探索の複雑さを顕著に低減した。
• PASストレージシステムは、モデルパラメータのマルチリゾリューション・デルタエンコーディングを活用することで高い圧縮比を達成し、精度を損なわせることなくストレージフットプリントを削減した。
• 摂動解析に基づくプログレッシブなクエリ評価では、全テストデータのわずか1％未満が完全精度の下位桁バイトを必要としていることが示され、デルタベースのアプローチの効率性が裏付けられた。
• 実世界のコンピュータビジョンモデルにおいて、ストレージ要件を最大80％まで削減しながら、ほぼ同一の推論精度を維持した。
• プログレッシブなクエリアルゴリズムにより、必要な精度ビットのみを取得することでI/Oおよびデコードのオーバーヘッドを削減し、推論ワークロードの高速化が達成された。
• 実証結果は、本アプローチが多様なデータセットおよびモデルアーキテクチャで有効であることを示しており、ストレージおよびクエリ効率の両面で一貫したパフォーマンス向上が得られた。