[论文解读] A space- and time-efficient Implementation of the Merkle Tree Traversal Algorithm

Markus Knecht, Willi Meier+1 more|arXiv (Cornell University)|Sep 14, 2014

Chaos-based Image/Signal Encryption参考文献 5被引用 10

一句话总结

本文提出了一种新颖的Merkle树遍历算法，结合了对数空间算法的空间效率与分形算法的时间效率，实现了最坏情况下的存储量为 $[L imes 2^h + 2H - 2h]$ 个哈希值，并降低了每个认证路径的时间复杂度。该方法利用连续确定性伪随机数生成器（PRNG）进行叶节点生成，最大限度减少了内存占用，同时在智能卡等资源受限环境中保持了高性能。

ABSTRACT

We present an algorithm for the Merkle tree traversal problem which combines the efficient space-time trade-off from the fractal Merkle tree [3] and the space efficiency from the improved log space-time Merkle trees traversal [8]. We give an exhaustive analysis of the space and time efficiency of our algorithm in function of the parameters H (the height of the Merkle tree) and h (h = H L where L is the number of levels in the Merkle tree). We also analyze the space impact when a continuous deterministic pseudo-random number generator (PRNG) is used to generate the leaves. We further program a low storage-space and a low time-overhead version of the algorithm in Java and measure its performance with respect to the two different implementations cited above. Our implementation uses the least space when a continuous PRNG is used for the leaf calculation.

研究动机与目标

• 为解决在存储资源受限环境下（特别是智能卡等嵌入式系统）高效遍历Merkle树的挑战。
• 在保持或提升时间效率的前提下，降低Merkle树遍历的空间复杂度。
• 将连续确定性伪随机数生成器（PRNG）集成到叶节点计算中，以最小化存储开销。
• 提供一种实用的、低开销的Java实现，其在空间和时间效率上均优于先前方法。
• 分析并优化Merkle树遍历中空间与时间的权衡，适用于不同树高和参数配置的情况。

提出的方法

• 该算法通过整合对数空间遍历方法中的所有空间优化技术，扩展了分形Merkle树方法，形成一种兼顾空间与时间效率的混合设计。
• 将树组织为 $L$ 个子树，每个子树包含一个“存在”子树和一个“期望”子树，仅存储特定节点以减少内存使用。
• 采用基于栈的遍历机制，逐步计算认证路径，并根据叶索引的推进动态更新子树状态。
• 该算法使用三个专用处理函数：Process₀ 用于初始节点插入，Process₁ 用于底层节点跟踪，Process₂ 用于子树切换与哈希计算。
• 关键创新在于使用连续确定性PRNG实时生成叶值，从而无需将所有叶节点存储在内存中。
• 该方法根据最低尾高（tail height）动态选择下一个需更新的子树，确保子树间计算的高效与均衡。

实验结果

研究问题

• RQ1 在严格存储约束下，如何最小化Merkle树遍历的空间与时间复杂度？
• RQ2 使用连续确定性PRNG对Merkle树遍历的内存占用有何影响？
• RQ3 能否将对数空间算法的空间效率与分形算法的时间效率相结合，以实现更优性能？
• RQ4 为最小化存储与时间开销，参数 $H$（树高）与 $h$（子树高）的最优配置是什么？
• RQ5 在实际应用中，该算法与原始分形算法和对数空间算法相比，在内存使用与执行时间方面表现如何？

主要发现

• 所提算法的最坏情况存储需求为 $[L \times 2^h + 2H - 2h]$ 个哈希值，相比原始分形算法减少了约两倍。
• 每个认证路径的时间复杂度降低至 $\frac{2^h - 1}{2^h} \times (L - 1) + 1$，显著提升了大规模树的性能。
• 当使用连续确定性PRNG生成叶节点时，算法所需存储量最小，因为叶节点按需计算，无需持久存储。
• Java实现展现出极低的存储与时间开销，在空间效率上优于分形与对数空间算法。
• 理论分析与实测数据均证实，该算法在空间与时间上均保持最优理论边界。
• 通过PRNG生成叶节点的方式显著降低了内存使用，且未损害安全性或正确性，特别适用于嵌入式系统。