[論文レビュー] Enabling user-driven Checkpointing strategies in Reverse-mode Automatic Differentiation

Laurent Hascoët, Mauricio Araya–Polo|ArXiv.org|Jun 9, 2006

Formal Methods in Verification参考文献 10被引用数 6

ひとこと要約

本論文は、自動微分ツールであるTapenadeにおいて、ユーザーがチェックポイント配置を制御できるユーザードライブドチェックポイント方式を導入し、逆モードADにおけるメモリ使用量と実行時間を削減することを可能にした。ユーザーがチェックポイントを適用しない「スプリットモード」で微分を実行する手動選択により、実際の科学的コードにおいて最大35％のメモリ削減と90％の実行時間改善が達成された。本手法は、将来の最適な自動チェックポイント戦略の立案に役立つ実証的知見を提供する。

ABSTRACT

This paper presents a new functionality of the Automatic Differentiation (AD) tool Tapenade. Tapenade generates adjoint codes which are widely used for optimization or inverse problems. Unfortunately, for large applications the adjoint code demands a great deal of memory, because it needs to store a large set of intermediates values. To cope with that problem, Tapenade implements a sub-optimal version of a technique called checkpointing, which is a trade-off between storage and recomputation. Our long-term goal is to provide an optimal checkpointing strategy for every code, not yet achieved by any AD tool. Towards that goal, we first introduce modifications in Tapenade in order to give the user the choice to select the checkpointing strategy most suitable for their code. Second, we conduct experiments in real-size scientific codes in order to gather hints that help us to deduce an optimal checkpointing strategy. Some of the experimental results show memory savings up to 35% and execution time up to 90%.

研究の動機と目的

• 大規模な科学的コードにおける逆モードADの高メモリ消費を低減するため、チェックポイント配置にユーザーの制御を可能にすること。
• すべての手続き呼び出しに対してデフォルトでチェックポイントを設ける従来の方法では性能が低下するため、これを回避すること。
• 実際の産業界コードを対象とした実験を通じて、効果的なチェックポイント戦略を実証的に同定すること。
• 将来的な完全自動で最適なチェックポイント戦略をTapendeに実装するためのデータとヒューリスティクスを収集すること。
• ユーザーによるガイド付きチェックポイントにより、メモリ使用量と再計算コストのバランスを取ることで、アドジョイントコードの性能を向上させること。

提案手法

• Tapendeに、順方向と逆方向のスイープで手続きを独立して微分できる新しい「スプリットモード」を追加し、チェックポイントを回避する。
• 従来のデータフロー解析（アドジョイントライブネスおよびTBR解析）を変更し、スプリットモードでの微分を正しく処理できるようにする。
• CFDや地球物理シミュレーション応用を含む、実際の科学的コードにユーザー選択のチェックポイント戦略を適用する。
• 異なるチェックポイント設定におけるメモリ使用量と実行時間を測定し、性能を比較する。
• 実験結果を基に、短時間で頻繁に呼び出される手続きを優先するなど、最適なチェックポイント配置のヒューリスティクスを導出する。
• テープおよびスナップショットのサイズ、およびPUSH/POPのオーバーヘッドを分析し、チェックポイントにおける性能ボトルネックを理解する。

実験結果

リサーチクエスチョン

• RQ1 逆モードADにおいて、すべての手続き呼び出しにチェックポイントを設けるのと、選択的にチェックポイントを設けるのとでは、性能的トレードオフはどのように異なるか？
• RQ2 実際の科学的コードにおいて、ユーザードライブドチェックポイントはメモリ消費量と実行時間にどのように影響を与えるか？
• RQ3 どのコード特徴（例：実行時間、データサイズ）が最適なチェックポイント配置を決定づけるか？
• RQ4 実際のコードからの実験的結果は、汎用的な自動チェックポイント戦略の設計にどのように寄与できるか？
• RQ5 複数のスプリットモード手続きにおける時間的利得が常に線形に加算されないのはなぜか？この現象が最適化モデルに与える示唆は何か？

主な発見

• すべての手続きにチェックポイントを設ける『スプリット・オール』戦略は、sticsベンチマークで実行時間に100倍の遅延を引き起こし、テープおよびスナップショット管理のオーバーヘッドが顕著であった。
• stics実験では、densirac、croira、onebigloop のみをスプリットモードで微分することで、実行時間比が約7にまで低下し、通常のADツールの性能に近づいた。
• 長時間実行されるか、メモリを多く消費する手続きに対してチェックポイントを選択的に適用することで、最大35％のメモリ削減が達成された。
• 計算コストが高く、中間データが大きな手続きに対してチェックポイントを適用した場合、実行時間の改善が最大90％に達した。
• 特定のサブルーチンでは、テープサイズがスナップショットサイズよりも顕著に小さく、スプリットモードによりメモリコストを負担せずに大幅な時間的利得を得られた。
• 複数のスプリットモード手続きにおける時間的利得が非加法的であることは、チェックポイントのオーバーヘッドとデータ移動の複雑な相互作用を示しており、繰り返しの性能モデリングが不可欠であることを示唆している。