[論文レビュー] Trustable and Automated Machine Learning Running with Blockchain and Its Applications

Tao Wang, WU Xin-min+1 more|arXiv (Cornell University)|Aug 14, 2019

Blockchain Technology Applications and Security参考文献 24被引用数 6

ひとこと要約

本論文は、改ざん不能なデータ保存とスマートコントラクト駆動のワークフローを可能にする、信頼性があり自動化された機械学習のブロックチェーン統合フレームワークを提案している。エッジデプロイ用のコンactバイナリーモデルフォーマットと、限られた実データでのトレーニングに適した合成データ生成手法を導入し、KDD 2019 AutoMLワークショップで金融分野の応用において検証された。

ABSTRACT

Machine learning algorithms learn from data and use data from databases that are mutable; therefore, the data and the results of machine learning cannot be fully trusted. Also, the machine learning process is often difficult to automate. A unified analytical framework for trustable machine learning has been presented in the literature. It proposed building a trustable machine learning system by using blockchain technology, which can store data in a permanent and immutable way. In addition, smart contracts on blockchain are used to automate the machine learning process. In the proposed framework, a core machine learning algorithm can have three implementations: server layer implementation, streaming layer implementation, and smart contract implementation. However, there are still open questions. First, the streaming layer usually deploys on edge devices and therefore has limited memory and computing power. How can we run machine learning on the streaming layer? Second, most data that are stored on blockchain are financial transactions, for which fraud detection is often needed. However, in some applications, training data are hard to obtain. Can we build good machine learning models to do fraud detection with limited training data? These questions motivated this paper; which makes two contributions. First, it proposes training a machine learning model on the server layer and saving the model with a special binary data format. Then, the streaming layer can take this blob of binary data as input and score incoming data online. The blob of binary data is very compact and can be deployed on edge devices. Second, the paper presents a new method of synthetic data generation that can enrich the training data set. Experiments show that this synthetic data generation is very effective in applications such as fraud detection in financial data.

研究の動機と目的

• 変更可能なデータと複雑なワークフローによる機械学習における信頼性と自動化の欠如を解決すること。
• ブロックチェーンを活用して、リソース制約のあるエッジデバイス上で効率的で安全かつ監査可能な機械学習を実現すること。
• 不正検出において実データが限られる課題を、高品質な合成データの生成によって克服すること。
• モデルを中央でトレーニングし、圧縮してスマートコントラクトを介してエッジデバイスで実行する統合システムを設計すること。

提案手法

• 実データを用いてサーバーレイヤーで機械学習モデルをトレーニングし、コンactバイナリーモデルブロブとしてエクスポートする。
• ストリーミングレイヤーのエッジデバイスにバイナリーモデルをデプロイし、到着するデータストリーム上でリアルタイム推論を実行する。
• ブロックチェーンのスマートコントラクトを用いて機械学習パイプラインをオーケストレーションし、再現可能性と監査可能性を確保する。
• とくに不正検出において、スパarsなトレーニングデータセットを補完するための合成データ生成技術を実装する。
• モデル重みとトレーニングメタデータをブロックチェーンに保存し、改ざん不能性と信頼性を確保する。
• サーバー、ストリーミング、スマートコントラクトの3レイヤーを統合し、検証可能な機械学習パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 信頼性とパフォーマンスを維持しつつ、メモリおよび計算リソースが制限されたエッジデバイスに機械学習モデルを効率的にデプロイする方法は何か？
• RQ2 合成データ生成は、限られたデータ環境（例：金融分野の不正検出）においてモデル性能を効果的に向上させることができるか？
• RQ3 ブロックチェーン技術を活用して、データから推論に至るまで、機械学習ライフサイクル全体を自動化・セキュアにできるか？
• RQ4 精度を損なわず、最適な方法でトレーニング済みモデルをエッジデバイスに圧縮・転送する方法は何か？

主な発見

• バイナリーモデルフォーマットにより、最小限のメモリおよび計算オーバーヘッドでエッジデバイスへの機械学習モデルの効率的デプロイが可能となった。
• 合成データ生成手法により、限られた実トレーニングデータでも不正検出タスクにおけるモデル性能が顕著に向上した。
• ブロックチェーンとスマートコントラクトの統合により、機械学習パイプラインのエンドツーエンドの監査可能性、改ざん不能性、再現可能性が確保された。
• 本フレームワークは、ブロックチェーンログによる強力なセキュリティと信頼性保証を維持しながら、エッジデバイスでも高い推論精度を達成した。
• KDD 2019 AutoMLワークショップでの実験により、本フレームワークの実世界における金融分野の不正検出シナリオでの有効性が確認された。