[논문 리뷰] Trustable and Automated Machine Learning Running with Blockchain and Its Applications

Tao Wang, WU Xin-min외 1명|arXiv (Cornell University)|2019. 08. 14.

Blockchain Technology Applications and Security참고 문헌 24인용 수 6

한 줄 요약

이 논문은 신뢰할 수 있고 자동화된 기계학습을 위한 블록체인 통합 프레임워크를 제안하며, 변경 불가능한 데이터 저장과 스마트 계약 기반 워크플로우를 가능하게 한다. 엣지 배포를 위한 컴act한 바이너리 모델 포맷과 실제 학습 데이터가 제한된 상황에서 사기 탐지 성능을 크게 향상시키는 합성 데이터 생성 방법을 도입하였으며, KDD 2019 AutoML 워크숍에서 재현 가능한 결과를 확보하였다.

ABSTRACT

Machine learning algorithms learn from data and use data from databases that are mutable; therefore, the data and the results of machine learning cannot be fully trusted. Also, the machine learning process is often difficult to automate. A unified analytical framework for trustable machine learning has been presented in the literature. It proposed building a trustable machine learning system by using blockchain technology, which can store data in a permanent and immutable way. In addition, smart contracts on blockchain are used to automate the machine learning process. In the proposed framework, a core machine learning algorithm can have three implementations: server layer implementation, streaming layer implementation, and smart contract implementation. However, there are still open questions. First, the streaming layer usually deploys on edge devices and therefore has limited memory and computing power. How can we run machine learning on the streaming layer? Second, most data that are stored on blockchain are financial transactions, for which fraud detection is often needed. However, in some applications, training data are hard to obtain. Can we build good machine learning models to do fraud detection with limited training data? These questions motivated this paper; which makes two contributions. First, it proposes training a machine learning model on the server layer and saving the model with a special binary data format. Then, the streaming layer can take this blob of binary data as input and score incoming data online. The blob of binary data is very compact and can be deployed on edge devices. Second, the paper presents a new method of synthetic data generation that can enrich the training data set. Experiments show that this synthetic data generation is very effective in applications such as fraud detection in financial data.

연구 동기 및 목표

• 변경 가능한 데이터와 복잡한 워크플로우로 인한 기계학습의 신뢰성 부족과 자동화 부족 문제를 해결하기 위해.
• 블록체인을 활용해 자원 제약이 있는 엣지 디바이스에서 효율적이고 안전하며 감사 가능한 기계학습을 가능하게 하기 위해.
• 실제 학습 데이터가 부족한 상황에서 사기 탐지 문제를 해결하기 위해 고품질의 합성 데이터를 생성함으로써.
• 모델을 중심에서 학습하고 압축한 후 스마트 계약을 통해 엣지 디바이스에서 실행하는 통합 시스템을 설계하기 위해.

제안 방법

• 실제 데이터를 사용해 서버 레이어에서 기계학습 모델을 학습하고, 이를 컴act한 바이너리 모델 블롭으로 내보내기.
• 스트리밍 레이어의 엣지 디바이스에 바이너리 모델을 배포하여 들어오는 데이터 스트림에서 실시간 추론을 수행하기.
• 블록체인 스마트 계약을 사용해 기계학습 워크플로우를 오케스트레이션하여 재현 가능성과 감사 가능성을 보장하기.
• 특히 사기 탐지에 적합한 희소한 학습 데이터셋을 보완하기 위해 합성 데이터 생성 기법을 구현하기.
• 모델 가중치와 학습 메타데이터를 블록체인에 저장하여 변경 불가능성과 신뢰성 확보하기.
• 서버, 스트리밍, 스마트 계약의 세 레이어를 통합해 단일 검증 가능한 기계학습 워크플로우로 구성하기.

실험 결과

연구 질문

• RQ1 메모리 및 계산 자원이 제한된 엣지 디바이스에 효율적으로 기계학습 모델을 배포하면서도 신뢰성과 성능을 유지할 수 있는 방법은 무엇인가?
• RQ2 합성 데이터 생성 기법이 실재 데이터가 적은 환경(예: 금융 사기 탐지)에서 모델 성능 향상에 효과적으로 기여할 수 있는가?
• RQ3 블록체인 기술을 활용해 데이터에서 추론에 이르기까지 기계학습 전체 라이프사이클을 자동화하고 보안화할 수 있는가?
• RQ4 정확도를 손상시키지 않으면서도 훈련된 모델을 엣지 디바이스로 압축 및 전송하는 최적의 방법은 무엇인가?

주요 결과

• 바이너리 모델 포맷은 메모리와 계산 자원을 최소화하면서도 엣지 디바이스에 기계학습 모델을 효율적으로 배포할 수 있도록 한다.
• 합성 데이터 생성 기법은 실제 학습 데이터가 제한된 상황에서도 사기 탐지 작업의 모델 성능을 크게 향상시킨다.
• 블록체인과 스마트 계약의 통합은 기계학습 워크플로우의 종단 간 감사 가능성, 변경 불가능성, 재현 가능성을 보장한다.
• 제안된 프레임워크는 정확도가 높은 추론 성능을 엣지 디바이스에서 달성하면서도 블록체인 로깅을 통해 강력한 보안과 신뢰 보장을 확보한다.
• KDD 2019 AutoML 워크숍에서의 실험 결과, 이 프레임워크는 실제 금융 사기 탐지 시나리오에서 효과적임을 입증하였다.