[论文解读] Byzantine-Fault-Tolerant Consensus via Reinforcement Learning for Permissioned Blockchain Implemented in a V2X Network

Seungmo Kim, Ahmed S. Ibrahim|arXiv (Cornell University)|Jul 28, 2020

Blockchain Technology Applications and Security参考文献 31被引用 6

一句话总结

本文提出了一种基于强化学习（RL）的通道选择机制，用于许可制Hyperledger Fabric区块链在V2X网络中的应用，以平衡可扩展性与拜占庭容错能力。通过将对等节点选择问题建模为上下文多臂赌博机（contextual multi-armed bandit），该框架使车辆能够基于预期停留时间自主学习最优对等节点集合，实现接近最优性能的低延迟与高吞吐量。

ABSTRACT

Blockchain has been forming the central piece of various types of vehicle-to-everything (V2X) network for trusted data exchange. Recently, permissioned blockchains garner particular attention thanks to their improved scalability and diverse needs from different organizations. One representative example of permissioned blockchain is Hyperledger Fabric ("Fabric"). Due to its unique execute-order procedure, there is a critical need for a client to select an optimal number of peers. The interesting problem that this paper targets to address is the tradeoff in the number of peers: a too large number will degrade scalability while a too small number will make the network vulnerable to faulty nodes. This optimization issue gets especially challenging in V2X networks due to mobility of nodes: a transaction must be executed and the associated block must be committed before the vehicle leaves a network. To this end, this paper proposes an optimal peers selection mechanism based on reinforcement learning (RL) to keep a Fabric-empowered V2X network impervious to dynamicity due to mobility. We model the RL as a contextual multi-armed bandit (MAB) problem. The results demonstrate the outperformance of the proposed scheme.

研究动机与目标

• 解决许可制区块链在动态V2X网络中可扩展性与容错性之间的权衡问题。
• 克服Hyperledger Fabric中静态对等节点选择的局限性，该局限性导致资源浪费与性能下降。
• 使车辆能够实时自主学习最优对等节点配置，无需外部基础设施支持。
• 在移动性引起的网络动态变化下，确保交易处理的活性与一致性。
• 开发一种具有韧性的自适应学习框架，能够响应网络条件与对等节点可用性的变化。

提出的方法

• 将对等节点选择问题建模为上下文多臂赌博机（MAB）问题，其中上下文为车辆在某网络中的预期停留时间。
• 采用ε-贪婪与Thompson Sampling（TS）探索策略，在动态环境中平衡探索与利用。
• 将每个通道（对等节点组配置）视为MAB中的一个“臂”，奖励基于交易成功率与延迟。
• 将RL智能体集成到客户端应用中，实时决定应由哪些对等节点背书交易。
• 利用Hyperledger Fabric的执行-排序架构，确保所有对等节点在验证前确定性地执行交易。
• 根据观察到的性能动态调整对等节点选择，避免选择具有过时或不一致账本状态的对等节点。

实验结果

研究问题

• RQ1 在V2X网络中，车辆如何动态选择最优数量的背书对等节点，以平衡可扩展性与拜占庭容错能力？
• RQ2 强化学习能否有效应对移动区块链环境中对等节点可靠性与网络动态性缺乏先验知识的问题？
• RQ3 在移动性约束下，何种学习策略（如ε-贪婪或Thompson Sampling）在最小化延迟与最大化吞吐量方面表现最佳？
• RQ4 与Hyperledger Fabric中的静态或随机对等节点选择相比，上下文MAB框架如何提升交易成功率？
• RQ5 在高移动性的V2X环境中，基于RL的机制在多大程度上能维持活性与一致性？

主要发现

• 所提出的基于RL的通道选择机制实现了接近理论最优的延迟与吞吐量性能。
• 采用ε-贪婪与Thompson Sampling策略，使系统在动态网络条件下实现了稳定且自适应的对等节点选择。
• 上下文MAB框架有效平衡了对等节点过多（降低可扩展性）与过少（增加故障风险）之间的权衡。
• 系统通过基于车辆在某网络中预期停留时间调整对等节点选择，展现出对移动性的适应能力。
• 通过避免向具有过时或不一致账本状态的对等节点提交交易，该框架减少了资源浪费。
• 结果证实，自主的、基于学习的对等节点选择显著提升了许可制区块链在V2X网络中的性能。