[論文レビュー] Cloudy with high chance of DBMS: A 10-year prediction for Enterprise-Grade ML

Ashvin Agrawal, Rony Chatterjee+20 more|arXiv (Cornell University)|Aug 30, 2019

Data Quality and Management参考文献 29被引用数 12

ひとこと要約

本論文は、エントレプロイズグレード機械学習（EGML）のための統合的でデータベース中心のアーキテクチャを提案する。このアーキテクチャは、クラウド上でのモデル学習、拡張されたSQL代数を介したDBMS内での推論、およびSQLとPythonシステム間でのエンドツーエンドのプロヴァンス追跡を統合する。SQLおよびPythonモジュールを備えたカタログベースのプロヴァンスフレームワークを導入し、データラインレージ、モデル依存関係、バージョニングを捉える。Kaggleデータセットでは95%のモデルカバレッジ、Microsoft社内データセットでは100%のカバレッジを達成した。

ABSTRACT

Machine learning (ML) has proven itself in high-value web applications such as search ranking and is emerging as a powerful tool in a much broader range of enterprise scenarios including voice recognition and conversational understanding for customer support, autotuning for videoconferencing, intelligent feedback loops in large-scale sysops, manufacturing and autonomous vehicle management, complex financial predictions, just to name a few. Meanwhile, as the value of data is increasingly recognized and monetized, concerns about securing valuable data and risks to individual privacy have been growing. Consequently, rigorous data management has emerged as a key requirement in enterprise settings. How will these trends (ML growing popularity, and stricter data governance) intersect? What are the unmet requirements for applying ML in enterprise settings? What are the technical challenges for the DB community to solve? In this paper, we present our vision of how ML and database systems are likely to come together, and early steps we take towards making this vision a reality.

研究の動機と目的

• エンタープライズMLアプリケーションにおけるきめ細かなデータガバナンス、モデルの公平性、プライバシー保護の増大するニーズに対応する。
• 規制対象でデータに敏感な環境において、MLのスケーリングに向けた未解決の技術的課題を特定する。
• データベースネイティブなアプローチを提案し、単一で安全なインfraストラクチャ内でMLライフサイクル（学習、推論、ガバナンス）を統合的に管理する。
• SQLおよびPythonシステム間でエンドツーエンドのデータおよびモデルプロヴァンスを追跡可能にすることで、監査可能性とコンプライアンスを支援する。
• DBMSのクエリエンジンにMLスコアリングを直接統合し、データの外部流出を回避するとともに、パフォーマンスとセキュリティを向上させる。

提案手法

• クラウドベースのモデル学習、拡張された関係代数を介したDBMSネイティブな推論、およびカタログを介した集中型ガバナンスを備えた3層アーキテクチャを設計する。
• Apache Calciteを用いてSQLプロヴァンスモジュールを実装し、クエリを解析して、イーガーおよびレイジィキャプチャモード下で粗粒度のラインレージ（入力テーブル／カラム）を抽出する。
• Apache Atlasを用いて、時間的追跡とクロスシステム相関を可能にするために、バージョニングされたプロヴァンスデータを集中型カタログに格納する。
• 静的解析と、ML APIのキュレート済み知識ベースを活用して、モデル学習コード、特徴量、ハイパーパramータ、データソースを特定するPythonプロヴァンスモジュールを開発する。
• カタログを介してSQL入力テーブルとPython学習データセットをリンクさせることで、生データからモデル出力までに至るエンドツーエンドのラインレージを保証する。
• プロヴァンスストレージの最適化と大規模なキャプチャにおける遅延低減のため、データ圧縮および要約技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 データ移動を伴わずに、DBMS内で効率的かつ安全にML推論を実行する方法は何か？
• RQ2 エンタープライズ環境において、SQLおよびPythonシステム間でエンドツーエンドのデータおよびモデルプロヴァンスを実現するにあたり、主な技術的課題は何か？
• RQ3 データベースシステムは、規制対象環境において、MLライフサイクルの全工程（学習、スコアリング、ガバナンス）をネイティブにサポートするために、どのように進化すべきか？
• RQ4 多様で大規模なワークロードにおいて、細粒度のプロヴァンスをキャプチャする際のパフォーマンスおよびスケーラビリティ特性は何か？
• RQ5 特に高速度のデータおよびモデル更新が行われる状況において、プロヴァンスキャプチャを実際の現場で正確かつ効率的に行うにはどうすればよいか？

主な発見

• SQLプロヴァンスモジュールは、TPC-Hクエリ2,208件およびTPC-Cクエリ2,200件を処理し、平均遅延はそれぞれ110秒および124秒であり、最大34,785ノードおよびエッジを有するプロヴァンスグラフを生成した。
• プロヴァンスデータモデルは、挿入回数に応じてバージョン数が増加するため、大幅にサイズが大きくなる傾向がある。これは、圧縮および要約技術の導入が不可欠であることを示唆している。
• Pythonプロヴァンスモジュールは、Kaggleデータセットで95%のモデルカバレッジ、61%の学習データセットカバレッジを達成した。一方、生産環境のMicrosoft社内データセットでは100%のカバレッジを達成した。
• 集中型カタログを介したSQLおよびPythonプロヴァンスの統合により、クロスシステムのラインレージ追跡が可能となり、コンプライアンスおよびモデル再訓練のトリガー管理に不可欠な要因となった。
• 初期の結果から、DBMSにMLガバナンスを統合することが実現可能であることが示された。実際のワークロード下でも、プロヴァンスキャプチャはスケーラブルかつ正確であることが確認された。
• このアプローチは、GDPRコンプライアンス、モデルバイアス監査、およびソースから推論までに至るトレーサブルなデータラインレージによる説明可能性を実現する、重要なガバナンス要件を満たす。