[论文解读] Notes on Theory of Distributed Systems

James Aspnes|arXiv (Cornell University)|Jan 10, 2020

Distributed systems and fault tolerance参考文献 180被引用 4

一句话总结

本文为分布式系统提供了全面的理论基础，涵盖基于消息传递和共享内存模型的核心模型、算法及正确性证明。通过形式化方法系统分析了共识、领导选举、原子快照和故障检测等问题，主要贡献包括对下限的严格证明、仿真技术的应用，以及利用逻辑时钟和同步器确保异步环境中的一致性和安全性。

ABSTRACT

Notes for the Yale course CPSC 465/565 Theory of Distributed Systems. Table of Contents: 1 Introduction, 2 Model, 3 Broadcast and convergecast, 4 Distributed breadth-first search, 5 Leader election, 6 Causal ordering and logical clocks, 7 Synchronizers, 8 Coordinated attack, 9 Synchronous agreement, 10 Byzantine agreement, 11 Impossibility of asynchronous agreement, 12 Paxos, 13 Failure detectors, 14 Quorum systems, 15 Permissionless systems, 16 Model, 17 Distributed shared memory, 18 Mutual exclusion, 19 The wait-free hierarchy, 20 Atomic snapshots, 21 Lower bounds on perturbable objects, 22 Restricted-use objects, 23 Common2, 24 Randomized consensus and test-and-set, 25 Renaming, 26 Software transactional memory, 27 Obstruction-freedom, 28 BG simulation, 29 Topological methods, 30 Approximate agreement, 31 Overview, 32 Self-stabilization, 33 Distributed graph algorithms, 34 Population protocols, 35 Mobile robots, 36 Beeping

研究动机与目标

• 建立形式化的理论框架以理解分布式系统，尤其聚焦于基于消息传递和共享内存的模型。
• 通过严格的正确性证明和复杂度度量，分析领导选举、共识和原子快照等基本问题。
• 通过共识、快照和故障检测的下限分析，探究分布式计算的极限。
• 探讨同步器、故障检测器和逻辑时钟在异步系统中实现一致性和安全性的角色。
• 对关键分布式算法（包括Paxos、阶段国王算法和随机化协议）进行统一处理，并形式化验证其安全性和活锁性。

提出的方法

• 基于自动机和轨迹语义的形式化模型描述系统行为，组件由状态、转移和动作定义。
• 使用仿真关系证明系统间轨迹包含关系，通过状态映射验证安全性属性。
• 应用逻辑时钟（Lamport、向量及Neiger-Toueg-Welch）以强制因果顺序并支持一致的快照。
• 引入同步器（alpha、beta、gamma）在异步系统中模拟同步行为，并提供形式化正确性证明。
• 使用约简技术证明下限，例如表明在崩溃故障下，$ f < n/2 $ 是共识的必要条件。
• 采用概率和随机化技术，包括共享硬币和sifte，以在弱假设下实现共识。

实验结果

研究问题

• RQ1 在存在崩溃或拜占庭故障的异步系统中，共识达成的最小条件是什么？
• RQ2 如何利用逻辑时钟和一致快照在分布式执行中维护因果性和一致性？
• RQ3 在各种系统模型中，领导选举和共识的消息复杂度及轮次数的下限是什么？
• RQ4 能否在无全局同步的情况下实现同步器？其在易崩溃环境中的局限性是什么？
• RQ5 具有不同程度完备性和准确性的故障检测器如何影响分布式系统中共识的可解性？

主要发现

• 在异步系统中，领导选举需要$ \binom{n}{2} $条消息的下限，表明高效算法本质上具有高成本。
• 阶段国王算法通过指数级信息收集，使用常量大小消息实现共识，证明$ n = 3f+1 $足以实现拜占庭一致性。
• 如alpha、beta和gamma等同步器可在异步系统中模拟同步行为，但全局同步导致不可避免的性能下降。
• 无法在不引入显著性能退化的前提下实现容忍崩溃故障的同步器。
• 当$ f < n/2 $不成立时，完备性为$ \text{Diamond } S $且准确性为$ \text{Diamond } P $的故障检测器不足以解决共识问题。
• 利用逻辑时钟和一致快照可正确且高效地实现原子寄存器和分布式快照，即使在故障存在的情况下亦然。