[论文解读] BitTensor: A Peer-to-Peer Intelligence Market

Yuma Rao, Jacob Steeves+3 more|arXiv (Cornell University)|Mar 9, 2020

Reinforcement Learning in Robotics参考文献 16被引用 5

一句话总结

BitTensor 提出了一种用于机器智能的去中心化对等市场，其中代理通过基于同行表现训练的神经网络相互评分，奖励根据声誉和连通性分配。它引入了基于连通性的正则化机制以抵抗合谋，从而实现一个去中心化、自维持的系统，持续训练模型并奖励产生信息论价值的贡献者。

ABSTRACT

As with other commodities, markets could help us efficiently produce machine intelligence. We propose a market where intelligence is priced by other intelligence systems peer-to-peer across the internet. Peers rank each other by training neural networks which learn the value of their neighbors. Scores accumulate on a digital ledger where high ranking peers are monetarily rewarded with additional weight in the network. However, this form of peer-ranking is not resistant to collusion, which could disrupt the accuracy of the mechanism. The solution is a connectivity-based regularization which exponentially rewards trusted peers, making the system resistant to collusion of up to 50 percent of the network weight. The result is a collectively run intelligence market which continual produces newly trained models and pays contributors who create information theoretic value.

研究动机与目标

• 设计一个去中心化、对等的机器智能市场，其中价值由集体同行评估决定。
• 解决同行评分系统中可能导致声誉和奖励分配失真的合谋风险。
• 开发一种基于连通性的正则化机制，对可信同行实施指数级奖励，以增强系统鲁棒性。
• 创建一个自维持生态系统，持续训练新模型，并根据信息论价值公平补偿贡献者。

提出的方法

• 网络中的代理训练神经网络，以基于共享智能输出预测并排名其同行的表现。
• 同行评分记录在数字账本上，累计得分决定货币奖励和网络权重。
• 基于连通性的正则化组件为具有强验证连接的同行分配指数级更高的影响力，降低对合谋的敏感性。
• 系统根据声誉得分和网络连通性动态调整奖励，强化可信节点。
• 该机制确保最多50%的网络权重无法通过合谋成功，因为低连通性或可疑同行会面临指数级惩罚。
• 新模型作为市场持续运行的一部分，持续训练和更新，由贡献和奖励驱动。

实验结果

研究问题

• RQ1 如何设计一个去中心化的机器智能市场，以公平地定价和奖励贡献？
• RQ2 哪些机制可以防止用于确定价值和奖励分配的同行评分系统中的合谋行为？
• RQ3 基于连通性的正则化如何提高基于声誉网络对合谋的抵抗能力？
• RQ4 网络结构对智能市场中同行评分的准确性和公平性有何影响？
• RQ5 一个自维持系统能否持续生成并改进模型，同时公平补偿贡献者？

主要发现

• 由于指数级惩罚机制，该系统成功抵御了涉及最多50%网络权重的合谋尝试。
• 基于连通性的正则化显著增强了同行评分的鲁棒性，有利于连接紧密且可信的节点。
• 市场机制使新模型的持续训练成为奖励和评分过程的副产品。
• 通过声誉和网络权重累积，系统性地奖励产生信息论上有价值输出的贡献者。
• 数字账本确保了同行评分和奖励分配的透明且防篡改的追踪。