[논문 리뷰] A decentralized aggregation mechanism for training deep learning models using smart contract system for bank loan prediction

Pratik Ratadiya, Khushi Asawa외 1명|arXiv (Cornell University)|2020. 11. 22.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 블록체인 기반의 탈중앙화된 집계 메커니즘을 제안하며, 은행 대출 예측을 위해 이더리움 스마트 컨트랙트를 통해 로컬 모델의 중간 특징 표현을 결합함으로써 수직 분할된 데이터에서 딥러닝 모델을 훈련시킨다. 이 방법은 중앙집중화된 훈련과 동등한 성능을 달성하면서도 데이터 프라이버시를 유지하고 수렴 속도를 빠르게 한다.

ABSTRACT

Data privacy and sharing has always been a critical issue when trying to build complex deep learning-based systems to model data. Facilitation of a decentralized approach that could take benefit from data across multiple nodes while not needing to merge their data contents physically has been an area of active research. In this paper, we present a solution to benefit from a distributed data setup in the case of training deep learning architectures by making use of a smart contract system. Specifically, we propose a mechanism that aggregates together the intermediate representations obtained from local ANN models over a blockchain. Training of local models takes place on their respective data. The intermediate representations derived from them, when combined and trained together on the host node, helps to get a more accurate system. While federated learning primarily deals with the same features of data where the number of samples being distributed on multiple nodes, here we are dealing with the same number of samples but with their features being distributed on multiple nodes. We consider the task of bank loan prediction wherein the personal details of an individual and their bank-specific details may not be available at the same place. Our aggregation mechanism helps to train a model on such existing distributed data without having to share and concatenate together the actual data values. The obtained performance, which is better than that of individual nodes, and is at par with that of a centralized data setup makes a strong case for extending our technique across other architectures and tasks. The solution finds its application in organizations that want to train deep learning models on vertically partitioned data.

연구 동기 및 목표

• 민감한 개인 및 금융 데이터가 여러 조직에 분산되어 있을 때 딥러닝 모델을 훈련시킬 경우 발생하는 데이터 프라이버시 문제를 해결하기 위해.
• 원시 데이터를 공유하지 않고도 특징이 서로 다른 노드에 분할된 수직 분할된 데이터에서 효과적인 모델 훈련을 가능하게 하기 위해.
• 이더리움 스마트 컨트랙트와 IPFS를 사용하여 중간 모델 표현을 교환하는 보안적인 탈중앙화된 집계 메커니즘을 설계하기 위해.
• 분산된 노드에서 수집된 특징을 집계하여 훈련된 호스트 모델이 중심 집중 훈련 모델과 동일한 성능을 낼 수 있음을 입증하기 위해.
• 금융, 헬스케어 등 데이터 민감도가 높은 분야에 적용 가능한 확장 가능한 프라이버시 보장 솔루션을 제공하기 위해.

제안 방법

• 개별 노드에서 각각의 데이터를 사용하여 로컬 인공신경망(ANN) 모델을 독립적으로 훈련한다—한 노드에서는 개인 정보를, 다른 노드에서는 은행 관련 정보를 사용한다.
• 각 로컬 모델의 최종 은닉층에서 유도된 중간 특징 표현(활성화값)을 추출하고 무결성 검증을 위해 해시 처리한다.
• 이더리움 블록체인 상의 스마트 컨트랙트가 노드 간 중간 특징 벡터의 안전한 교환과 집계를 관리한다.
• 집계된 특징 벡터를 사용하여 중앙 노드에서 호스트 모델을 훈련시키며, 이는 통합된 표현을 대출 결과 레이블에 매핑하도록 학습한다.
• IPFS를 사용하여 중간 특징 벡터와 테스트 데이터를 저장하고 검색함으로써 탈중앙화되고 변하지 않는 접근성을 보장한다.
• 시스템은 원시 데이터를 이전하지 않고, 신뢰할 수 없는 블록체인 계층을 통해 암호화되고 해시된 표현만을 교환함으로써 데이터 프라이버시를 보장한다.

실험 결과

연구 질문

• RQ1 수직 분할된 데이터에서 유도된 특징 표현을 기반으로 훈련된 딥러닝 모델이 중앙집중화된 훈련과 유사한 성능을 달성할 수 있는가?
• RQ2 집계된 중간 특징을 사용할 경우 탈중앙화된 모델의 수렴 속도가 중앙집중화된 모델과 비교해 어떻게 되는가?
• RQ3 블록체인 기반의 스마트 컨트랙트 시스템이 분산된 모델 표현 집계 과정에서 보안성과 무결성을 얼마나 잘 보장하는가?
• RQ4 제안된 메커니즘이 은행 및 금융과 같은 민감한 분야에서 데이터 프라이버시를 유지하면서도 높은 모델 정확도를 유지를 할 수 있는가?
• RQ5 여러 출처에서 유도된 특징 집계가 모델 일반화 능력과 F1-score, AUC와 같은 성능 지표에 어떤 영향을 미치는가?

주요 결과

• 제안된 탈중앙화된 모델은 테스트 세트에서 F1-score 0.95와 정확도 98.13%를 기록하였으며, 중앙집중화된 모델의 F1-score 0.95와 정확도 98.33%와 매우 유사한 성능을 보였다.
• 탈중앙화된 모델은 에포크 수에 따른 손실 및 정확도 곡선을 통해 중앙집중화된 모델보다 더 빠른 수렴을 보였다.
• 집계된 모델의 성능은 개별 로컬 모델의 성능을 크게 초월하였으며, 개인 정보 노드에서는 F1-score 0.67, 은행 관련 정보 노드에서는 F1-score 0.63을 기록하였다.
• 탈중앙화 및 중앙집중화 환경 간 정밀도, 재현율, F1-score 지표에서 거의 동일한 성능을 유지하였으며, 정확도 차이가 0.2% 미만이었다.
• 스마트 컨트랙트와 IPFS의 사용은 원시 데이터 폭로 없이도 안전하고 감사 가능하며 변하지 않는 중간 표현 교환을 가능하게 하였다.
• 결과적으로 수직 데이터 분할이 안전하고 탈중앙화된 특징 집계 기법과 결합될 경우 모델 성능 저하 없이도 성능을 유지할 수 있음을 검증하였다.