[论文解读] A decentralized aggregation mechanism for training deep learning models using smart contract system for bank loan prediction

Pratik Ratadiya, Khushi Asawa+1 more|arXiv (Cornell University)|Nov 22, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种基于区块链的去中心化聚合机制，通过以太坊智能合约结合本地模型的中间特征表示，在垂直划分的数据上训练深度学习模型——具体应用于银行贷款预测。该方法在保持数据隐私的同时，实现了与集中式训练相当的性能，并支持更快的收敛速度。

ABSTRACT

Data privacy and sharing has always been a critical issue when trying to build complex deep learning-based systems to model data. Facilitation of a decentralized approach that could take benefit from data across multiple nodes while not needing to merge their data contents physically has been an area of active research. In this paper, we present a solution to benefit from a distributed data setup in the case of training deep learning architectures by making use of a smart contract system. Specifically, we propose a mechanism that aggregates together the intermediate representations obtained from local ANN models over a blockchain. Training of local models takes place on their respective data. The intermediate representations derived from them, when combined and trained together on the host node, helps to get a more accurate system. While federated learning primarily deals with the same features of data where the number of samples being distributed on multiple nodes, here we are dealing with the same number of samples but with their features being distributed on multiple nodes. We consider the task of bank loan prediction wherein the personal details of an individual and their bank-specific details may not be available at the same place. Our aggregation mechanism helps to train a model on such existing distributed data without having to share and concatenate together the actual data values. The obtained performance, which is better than that of individual nodes, and is at par with that of a centralized data setup makes a strong case for extending our technique across other architectures and tasks. The solution finds its application in organizations that want to train deep learning models on vertically partitioned data.

研究动机与目标

• 解决在多个组织间分布敏感个人和金融数据时，训练深度学习模型面临的数据隐私挑战。
• 在不共享原始数据的前提下，实现对垂直划分数据（即特征分布在不同节点）的有效模型训练。
• 设计一种使用以太坊智能合约和IPFS交换中间模型表示的、安全且去中心化的聚合机制。
• 证明基于分布式节点聚合特征训练的主机模型，其性能可与集中训练的模型相匹配。
• 提供一种可扩展、保护隐私的解决方案，适用于金融、医疗及其他数据敏感领域。

提出的方法

• 在每个节点上独立训练本地人工神经网络（ANN）模型，分别使用其对应的数据——一个节点处理个人详细信息，另一个节点处理银行特定信息。
• 从每个本地模型的最终隐藏层提取中间特征表示（激活值），并进行哈希以确保完整性验证。
• 以太坊区块链上的智能合约负责在各节点之间安全地交换和聚合这些特征向量。
• 将聚合后的特征向量用于在中心节点训练主机模型，该模型学习将组合后的表示映射到贷款结果标签。
• 使用IPFS存储和检索中间特征向量及测试数据，确保去中心化、不可篡改的访问。
• 通过仅交换经过加密和哈希处理的表示，而非原始数据，系统在无需信任的区块链层上保障了数据隐私。

实验结果

研究问题

• RQ1 当在垂直划分的数据的特征表示上训练深度学习模型时，其性能是否可与集中式训练相媲美？
• RQ2 在使用聚合的中间特征时，去中心化模型的收敛速度与集中式模型相比如何？
• RQ3 基于区块链的智能合约系统在分布式模型表示聚合过程中，能在多大程度上确保安全性和完整性？
• RQ4 在银行和金融等敏感领域，所提出的机制是否能在保护数据隐私的同时维持高模型准确率？
• RQ5 从多个来源聚合特征对模型泛化能力及F1-score、AUC等性能指标有何影响？

主要发现

• 所提出的去中心化模型在测试集上实现了0.95的F1-score和98.13%的准确率，与集中式模型的0.95 F1-score和98.33%准确率非常接近。
• 去中心化模型的收敛速度优于集中式模型，这从各轮次的训练损失和准确率曲线中得到证实。
• 聚合模型的性能显著优于各独立本地模型，后者在个人详细信息节点上仅达到0.67的F1-score，在银行特定信息节点上为0.63。
• 去中心化与集中式设置在精确率、召回率和F1-score等指标上表现近乎一致，准确率差异小于0.2%。
• 智能合约与IPFS的结合实现了中间表示的安全、可审计且不可篡改的交换，同时未暴露原始数据。
• 结果验证了，当结合安全的去中心化特征聚合时，垂直数据划分不会损害模型性能。