[论文解读] Decentralized Vision-Based Byzantine Agent Detection in Multi-Robot Systems with IOTA Smart Contracts

Sahar Salimpour, Farhad Keramat+2 more|arXiv (Cornell University)|Oct 7, 2022

Blockchain Technology Applications and Security被引用 8

一句话总结

本文提出了一种基于视觉的去中心化拜占庭代理检测系统，应用于多机器人系统中，利用 IOTA 智能合约实现。通过基于深度学习的异常与变化检测流程，对比来自不同机器人的 RGB 图像对，系统识别出表明潜在恶意行为的差异，IOTA 实现了低开销、无信任的共识机制，并显著降低了机器人端的计算负载。

ABSTRACT

Multiple opportunities lie at the intersection of multi-robot systems and distributed ledger technologies (DLTs). In this work, we investigate the potential of new DLT solutions such as IOTA, for detecting anomalies and byzantine agents in multi-robot systems in a decentralized manner. Traditional blockchain approaches are not applicable to real-world networked and decentralized robotic systems where connectivity conditions are not ideal. To address this, we leverage recent advances in partition-tolerant and byzantine-tolerant collaborative decision-making processes with IOTA smart contracts. We show how our work in vision-based anomaly and change detection can be applied to detecting byzantine agents within multiple robots operating in the same environment. We show that IOTA smart contracts add a low computational overhead while allowing to build trust within the multi-robot system. The proposed approach effectively enables byzantine robot detection based on the comparison of images submitted by the different robots and detection of anomalies and changes between them.

研究动机与目标

• 解决在去中心化多机器人系统中检测恶意或故障机器人的问题，传统区块链解决方案因高开销和连接性限制而难以适用。
• 在无中心权威机构依赖的前提下，实现机器人之间无信任的去中心化共识，以识别拜占庭代理。
• 将基于视觉的异常与变化检测与 IOTA 智能合约相结合，检测机器人间传感数据的差异。
• 通过将深度学习推理任务卸载至可信服务器，同时利用智能合约实现决策的去中心化，从而减轻机器人端的计算负载。
• 展示一个可扩展、分区容错且拜占庭容错的框架，用于机器人机群的实时异常检测。

提出的方法

• 利用 IOTA 智能合约作为去中心化账本，存储图像哈希并协调机器人之间的比较任务。
• 采用基于视觉的异常与变化检测流程，利用 SuperPoint 和 SuperGlue 进行不同机器人图像对之间的特征匹配。
• 使用基于 Mask-RCNN 的模型检测并分割已知物体，未匹配的点通过聚类识别为异常。
• 应用基于阈值的差异评分系统：最优匹配阈值为 Δ=0.35，关键点提取阈值为 λ=0.001，均从默认值调优得到。
• 构建图 G=(V,E)，其中顶点代表机器人，边代表检测到的异常；异常评分计算为每台机器人对应的红色（异常）边的数量。
• 设定动态阈值以标记拜占庭机器人，即高于所有机器人平均异常评分 30% 的情况。

实验结果

研究问题

• RQ1 IOTA 智能合约能否在多机器人系统中实现可扩展、低开销且去中心化的拜占庭代理检测机制？
• RQ2 使用深度学习模型进行基于视觉的图像比较，在检测表明拜占庭行为的差异方面效果如何？
• RQ3 该系统在检测物体移除、添加或数据篡改等异常方面，其检测能力达到何种程度？
• RQ4 在部分连接或网络分区的条件下，系统如何维持容错性与一致性？
• RQ5 采用混合架构——将复杂推理卸载至可信服务器，同时去中心化共识——能否在性能与信任之间取得平衡？

主要发现

• 在第一轮比较中，系统成功识别出拜占庭机器人（Robot 1），其总异常评分为 3，显著高于其他机器人。
• 最优匹配阈值（Δ=0.35）与关键点提取阈值（λ=0.001）高于默认值，提升了检测的鲁棒性。
• 在六轮图像比较中，系统检测到三起与 Robot 1 相关的异常，以及一起与 Robot 4 相关的异常，证明了差异检测的有效性。
• 随时间累积的异常评分，结合高于平均值 30% 的动态阈值，实现了对拜占庭代理的可靠识别。
• 基于 IOTA 的智能合约层引入了可忽略的计算开销，支持系统的可扩展性与实时运行。
• 该方法对未知或无纹理的物体仍具鲁棒性，但当兴趣点不足导致无法匹配时，检测能力受限。