[论文解读] Enabling user-driven Checkpointing strategies in Reverse-mode Automatic Differentiation

Laurent Hascoët, Mauricio Araya–Polo|ArXiv.org|Jun 9, 2006

Formal Methods in Verification参考文献 10被引用 6

一句话总结

本文在 Tapenade（一款自动微分工具）中引入了用户驱动的检查点机制，支持选择性地应用检查点，以减少反向模式自动微分中的内存占用和执行时间。通过允许用户选择哪些过程以拆分模式（不使用检查点）进行微分，该方法在真实科学计算代码中实现了最高达35%的内存减少和90%的执行时间提升，为未来最优自动检查点策略的制定提供了实证洞察。

ABSTRACT

This paper presents a new functionality of the Automatic Differentiation (AD) tool Tapenade. Tapenade generates adjoint codes which are widely used for optimization or inverse problems. Unfortunately, for large applications the adjoint code demands a great deal of memory, because it needs to store a large set of intermediates values. To cope with that problem, Tapenade implements a sub-optimal version of a technique called checkpointing, which is a trade-off between storage and recomputation. Our long-term goal is to provide an optimal checkpointing strategy for every code, not yet achieved by any AD tool. Towards that goal, we first introduce modifications in Tapenade in order to give the user the choice to select the checkpointing strategy most suitable for their code. Second, we conduct experiments in real-size scientific codes in order to gather hints that help us to deduce an optimal checkpointing strategy. Some of the experimental results show memory savings up to 35% and execution time up to 90%.

研究动机与目标

• 通过允许用户控制检查点位置，解决大型科学计算代码中反向模式自动微分的高内存消耗问题。
• 摆脱在每个过程调用处默认使用检查点的次优策略，该策略常导致性能下降。
• 通过在真实工业代码上的实验，实证识别有效的检查点策略。
• 收集数据与启发式规则，为未来在 Tapenade 中实现完全自动化的最优检查点策略提供支持。
• 通过用户引导的检查点机制，平衡内存使用与重计算成本，提升伴随代码的性能。

提出的方法

• 扩展 Tapenade 以支持一种新的“拆分模式”，即在前向与反向扫描中独立微分过程，避免使用检查点。
• 修改现有的数据流分析方法——伴随存活分析与TBR分析——以正确处理拆分模式下的微分。
• 在真实科学计算代码（包括计算流体动力学与地球物理模拟应用）中应用用户选定的检查点策略。
• 测量不同检查点配置下的内存使用量与执行时间，以比较性能表现。
• 利用实验结果推导最优检查点位置的启发式规则，例如优先对短时、频繁调用的过程进行检查点处理。
• 分析磁带与快照的大小，以及 PUSH/POP 的开销，以理解检查点中的性能瓶颈。

实验结果

研究问题

• RQ1 在反向模式自动微分中，对每个过程调用都进行检查点处理与选择性检查点处理之间的性能权衡是什么？
• RQ2 用户驱动的检查点机制在真实科学计算代码中对内存消耗和执行时间有何影响？
• RQ3 哪些代码特征（如执行时间、数据大小）决定了最优的检查点位置？
• RQ4 真实代码的实验结果能否为通用自动检查点策略的设计提供依据？
• RQ5 为何多个拆分模式过程的时间收益并非总是线性叠加，这对优化模型有何启示？

主要发现

• 在 stics 基准测试中，采用‘全部拆分’策略（即对所有过程进行检查点）导致执行时间慢了100倍，原因是磁带与快照管理开销过大。
• 在 stics 实验中，仅对 densirac、croira 和 onebigloop 三个过程采用拆分模式微分，将执行时间比降至约7倍，接近典型自动微分工具的性能水平。
• 通过选择性地对长时运行或内存密集型过程应用检查点，实现了最高达35%的内存节省。
• 当仅对计算成本高且中间数据量大的过程应用检查点时，观察到最高达90%的执行时间提升。
• 对于某些子程序，磁带大小显著小于快照大小，使得拆分模式在无内存成本下实现显著的时间收益。
• 多个拆分模式过程的时间收益非加性，表明检查点开销与数据移动之间存在复杂交互，需依赖迭代式性能建模。