[論文レビュー] ProvDB: A System for Lifecycle Management of Collaborative Analysis Workflows

Hui Miao, Amit Chavan+1 more|arXiv (Cornell University)|Oct 17, 2016

Scientific Computing and Data Management参考文献 29被引用数 4

ひとこと要約

ProvDB は、統合的で照会可能な方法で細粒度のプロバンセンスおよびメタデータをキャプチャ・分析することにより、共同作業におけるデータサイエンスワークフローのライフサイクル管理を可能にするプロバンセンスおよびメタデータ管理システムです。Git と Neo4j に基づいて構築されており、バージョンラインレージョンの追跡、ワークフローのプロバンセンス、パイプラインの推論、継続的モニタリングをサポートし、デバッグ時間の大幅な短縮と再現性・内省性の向上を実現しています。

ABSTRACT

As data-driven methods are becoming pervasive in a wide variety of disciplines, there is an urgent need to develop scalable and sustainable tools to simplify the process of data science, to make it easier to keep track of the analyses being performed and datasets being generated, and to enable introspection of the workflows. In this paper, we describe our vision of a unified provenance and metadata management system to support lifecycle management of complex collaborative data science workflows. We argue that a large amount of information about the analysis processes and data artifacts can, and should be, captured in a semi-passive manner; and we show that querying and analyzing this information can not only simplify bookkeeping and debugging tasks for data analysts but can also enable a rich new set of capabilities like identifying flaws in the data science process itself. It can also significantly reduce the time spent in fixing post-deployment problems through automated analysis and monitoring. We have implemented an initial prototype of our system, called ProvDB, on top of git (a version control system) and Neo4j (a graph database), and we describe its key features and capabilities.

研究の動機と目的

• 共同的で一時的なデータサイエンスワークフロー全体にわたるプロバンセンスおよびメタデータを管理するスケーラブルで統合的なシステムの不足に対処すること。
• 進化するデータサイエンスプロジェクトにおけるデータセット、スクリプト、パラメータ、依存関係の手動でのメモ取りやエラーを引き起こしやすい追跡を軽減すること。
• 半自動的でスキーマ・ラテラルな方法で細粒度のプロバンセンス情報をキャプチャ・分析することにより、内省性、デバッグ、異常検出を可能にすること。
• 豊富で照会可能なラインレージョンおよび依存関係情報の提供を通じて、再現性、透明性、倫理的なデータサイエンスを支援すること。
• ワークフローと派生アーティファクトのブラウズ、比較、再利用を可能にすることで、共同作業と知識共有を簡素化すること。

提案手法

• コアのプロバンセンスおよびアーティファクト関係のための固定スキーマに加え、任意の半構造化メタデータ（例：JSON 形式）を格納するスキーマ・ラテラルアプローチを採用する。
• データ、スクリプト、結果のバージョン管理には Git を、アーティファクト、導出関係、依存関係をプロバンセンスグラフとしてモデル化するためのグラフデータベースとして Neo4j を活用する。
• インジェストャーを用いて、分析出力や設定ファイルからプロパティ（例：訓練損失、精度、ハイパーパramータ）を自動抽出・格納する。
• Neo4j の Cypher を用いた照会駆動型の内省を可能にし、アーティファクトの比較、導出の追跡、バージョン間での変更の分析を実現する。
• Web ベースの GUI を提供し、ワークフローのブラウズ、アーティファクトの差分比較、および組み込みのチャートツールを用いたプロパティの時間的変化の可視化を可能にする。
• 継続的な照会実行を通じて、データプロパティやモデル性能の変化を監視し、異常を検出するためのモニタリングおよびアラートサブシステムを実装する。

実験結果

リサーチクエスチョン

• RQ1 多様で非構造的なデータサイエンスワークフローから得られるプロバンセンスおよびメタデータを、スケーラブルで拡張可能なかたちで統合的にキャプチャ・統合することは可能か？
• RQ2 被動的で半構造的なプロバンセンスキャプチャは、共同データサイエンスにおける手動の追跡負荷をどれほど軽減し、デバッグ効率を向上させることができるか？
• RQ3 統合的プロバンセンス分析により、機械学習パイプラインにおけるデータ漏洩やモデルドリフトなどの欠陥を早期に検出可能か？
• RQ4 プロバンセンスデータをどのように活用することで、チーム間での再利用可能で監査可能かつ再現可能なデータサイエンスワークフローを実現できるか？
• RQ5 照問可能なプロバンセンスグラフを通じて、複雑で進化を続けるデータサイエンスパイプラインに対する効果的な推論を実現するメカニズムは何か？

主な発見

• ProvDB は、プロバンセンス照会を通じてモデル性能やハイパーパramータ設定の自動比較を可能にすることで、デバッグおよびメモ取りに要する時間を顕著に短縮している。
• システムは、組み込みのチャートツールおよび差分比較ツールを用いて、バージョン間でのモデル訓練行動（例：損失関数と精度の曲線）の違いを視覚的に検査することを可能にしている。
• プロバンセンスのキャプチャと分析により、最終的に収束するものの初期段階での性能が悪いといった、ハイパーパramータの誤設定を示す微妙な問題の検出が可能になっている。
• プロトタイプでは、限定的な機能でもプロバンセンスに基づく内省が、例えばコンピュータビジョンタスクで 41 個の深層ニューラルネットワークを訓練するような複雑なワークフローの理解を簡素化していることが示された。
• Git と Neo4j の統合により、バージョン管理されたラインレージョンの追跡とアーティファクト依存関係の効率的照会が可能になり、再現性とパイプライン再利用を支援している。
• モニタリングサブシステムにより、スナップショット間での重要なプロパティの変化を追跡することで、デプロイ済みモデルにおける分布シフトや性能低下の早期検出が可能になっている。