[論文レビュー] Curator: Provenance Management for Modern Distributed Systems

Warren Smith, Thomas Moyer+1 more|arXiv (Cornell University)|Jun 1, 2018

Scientific Computing and Data Management被引用数 1

ひとこと要約

Curatorは、マイクロサービスアーキテクチャおよびその他の現代の分散システムへのシームレスな統合を目的としたプロヴァナンス管理ツールキットです。システム設計の変更なし、最小限のコードオーヘッドで、かつ元のシステムと同一のインfra構成を用いてスケーラブルにプロヴァナンス追跡を実現します。

ABSTRACT

Data provenance is a valuable tool for protecting and troubleshooting distributed systems. Careful design of the provenance components reduces the impact on the design, implementation, and operation of the distributed system. In this paper, we present Curator, a provenance management toolkit that can be easily integrated with microservice-based systems and other modern distributed systems. This paper describes the design of Curator and discusses how we have used Curator to add provenance to distributed systems. We find that our approach results in no changes to the design of these distributed systems and minimal additional code and dependencies to manage. In addition, Curator uses the same scalable infrastructure as the distributed system and can therefore scale with the distributed system.

研究の動機と目的

• 現代の分散システムにプロヴァナンス追跡を統合する課題を、システムの設計や運用に影響を与えることなく解決すること。
• マイクロサービスアーキテクチャおよび類似システムにおけるプロヴァナンス管理の複雑さとオーバーヘッドを低減すること。
• 下位の分散システムと並行してスケーリング可能なプロヴァナンス収集を実現すること。
• 統合に必要な追加コードや依存関係を最小限に抑えたツールキットを提供すること。

提案手法

• コアシステムアーキテクチャの変更を回避するため、軽量なインストルメンテーションによる統合を実現する独立したツールキットとしてCuratorを設計すること。
• 分散システムが使用する同じスケーラブルなインfra（例：メッセージキュー、サービスメッシュ）を活用して、プロヴァナンスデータの伝達を実現すること。
• 主要な相互作用ポイントでデータラインレージャンとシステムアクションを記録するイベントドリブン型のプロヴァナンスキャプチャを採用すること。
• 多様な展開要件に対応できるように、プロヴァナンスのストレージ、取得、分析のためのプラグイン可能コンponentをサポートすること。
• インターフェース抽象化と最小限のランタイム依存関係により、後方互換性と非侵襲的動作を確保すること。

実験結果

リサーチクエスチョン

• RQ1 現代の分散システムに、設計やアーキテクチャを変更せずにプロヴァナンス追跡を追加できるか？
• RQ2 分散システムにプロヴァナンス追跡をインストルメントするための最小限のランタイムおよびコードオーヘッドはどの程度か？
• RQ3 生産環境において、プロヴァナンス管理が下位の分散システムと並行してスケーリングできるか？
• RQ4 アプリケーションロジックからプロヴァナンス収集をどれだけ分離できるか、同時に正確性とパフォーマンスを維持できるか？

主な発見

• Curatorは、元のシステム設計を変更せずに分散システムでのプロヴァナンス追跡を可能にしました。
• ツールキットは追加コードおよび依存関係を最小限に抑え、統合の複雑さを低減しました。
• 下位の分散システムのインfra構成を再利用することで、プロヴァナンス収集が自然にスケーリングされました。
• システムのパフォーマンスと運用のシンプルさを維持しながら、完全なラインレージャンおよび監査機能を実現できました。