[논문 리뷰] Enabling user-driven Checkpointing strategies in Reverse-mode Automatic Differentiation

Laurent Hascoët, Mauricio Araya–Polo|ArXiv.org|2006. 06. 09.

Formal Methods in Verification참고 문헌 10인용 수 6

한 줄 요약

이 논문은 자동미분 도구인 Tapenade에서 사용자 기반 체크포인팅을 도입하여 역방향 자동미분에서 메모리 사용량과 실행 시간을 줄이는 데 목적이 있다. 사용자가 체크포인팅을 적용할 대상 프로시저를 선택할 수 있도록 함으로써, 실제 과학 계산 코드에서 최대 35%의 메모리 절감과 90%의 실행 시간 향상을 달성하였으며, 향후 최적의 자동 체크포인팅 전략 수립을 위한 실증적 통찰을 제공한다.

ABSTRACT

This paper presents a new functionality of the Automatic Differentiation (AD) tool Tapenade. Tapenade generates adjoint codes which are widely used for optimization or inverse problems. Unfortunately, for large applications the adjoint code demands a great deal of memory, because it needs to store a large set of intermediates values. To cope with that problem, Tapenade implements a sub-optimal version of a technique called checkpointing, which is a trade-off between storage and recomputation. Our long-term goal is to provide an optimal checkpointing strategy for every code, not yet achieved by any AD tool. Towards that goal, we first introduce modifications in Tapenade in order to give the user the choice to select the checkpointing strategy most suitable for their code. Second, we conduct experiments in real-size scientific codes in order to gather hints that help us to deduce an optimal checkpointing strategy. Some of the experimental results show memory savings up to 35% and execution time up to 90%.

연구 동기 및 목표

• 대규모 과학 계산 코드에서 역방향 자동미분의 높은 메모리 소비 문제를 해결하기 위해 사용자에게 체크포인팅 배치에 대한 제어권을 부여하는 것.
• 모든 프로시저 호출에 대해 기본 체크포인팅을 수행하는 것과 같은 비최적 전략이 성능을 떨어뜨리는 것을 피하기 위한 것.
• 실제 산업 코드를 대상으로 실험하여 효과적인 체크포인팅 전략을 실증적으로 규명하는 것.
• 향후 Tapende에서 완전히 자동화되고 최적화된 체크포인팅 전략 개발을 위한 데이터와 히우리스틱을 수집하는 것.
• 사용자 가이드 체크포인팅을 통해 메모리 사용량과 재계산 비용 간의 균형을 맞춰 조인트 코드의 성능을 향상시키는 것.

제안 방법

• 프로시저를 전진 및 역방향 스윕에서 별도로 미분할 수 있도록 허용하는 새로운 '스플릿 모드'를 Tapende에 구현하여 체크포인팅을 피하는 것.
• 기존의 데이터 흐름 분석 기법인 조인트 라이브니스 분석과 TBR 분석을 수정하여 스플릿 모드의 정확한 처리를 보장하는 것.
• CFD 및 지구물리학 시뮬레이션 응용 분야를 포함한 실제 과학 계산 코드에 사용자 선택 체크포인팅 전략을 적용하는 것.
• 다양한 체크포인팅 구성에서 메모리 사용량과 실행 시간을 측정하여 성능 비교를 수행하는 것.
• 실험 결과를 바탕으로 최적의 체크포인팅 배치를 위한 히우리스틱 도출, 예를 들어 짧고 자주 호출되는 프로시저를 우선순위로 삼는 것.
• 테이프 및 스냅샷 크기, PUSH/POP 오버헤드를 분석하여 체크포인팅의 성능 저하 요인을 이해하는 것.

실험 결과

연구 질문

• RQ1 역방향 자동미분에서 모든 프로시저 호출에 대해 체크포인팅을 수행하는 것과 선택적 체크포인팅을 수행하는 것 사이의 성능 트레이드오프는 무엇인가?
• RQ2 사용자 기반 체크포인팅은 실제 과학 계산 코드에서 메모리 소비와 실행 시간에 어떤 영향을 미치는가?
• RQ3 어떤 코드 특성(예: 실행 시간, 데이터 크기)이 최적의 체크포인팅 배치를 결정하는가?
• RQ4 실제 코드에서의 실험 결과는 일반적인 자동 체크포인팅 전략 설계에 어떤 영향을 미칠 수 있는가?
• RQ5 여러 개의 스플릿 모드 프로시저에서 얻는 시간 절감 효과가 항상 선형적으로 누적되지 않는 이유는 무엇이며, 이는 최적화 모델에 어떤 함의를 갖는가?

주요 결과

• 스플릿-올 전략(모든 프로시저에 대해 체크포인팅)은 테이프 및 스냅샷 관리 오버헤드로 인해 stics 벤치마크에서 실행 시간이 100배 이상 느려졌다.
• stics 실험에서 densirac, croira, onebigloop 프로시저만 스플릿 모드로 미분할 경우 실행 시간 비율이 약 7로 감소하여 일반적인 AD 도구의 성능에 가까워졌다.
• 긴 실행 시간 또는 높은 메모리 사용량을 가지는 프로시저에 대해 체크포인팅을 선택적으로 적용함으로써 최대 35%의 메모리 절감을 달성했다.
• 높은 계산 비용과 큰 중간 데이터를 가지는 프로시저에 대해서만 체크포인팅을 적용했을 때 실행 시간이 최대 90% 향상되었다.
• 일부 서브루틴에서는 테이프 크기가 스냅샷 크기보다 현저히 작아, 스플릿 모드를 사용할 경우 메모리 비용이 없이도 상당한 시간 절감 효과를 얻을 수 있었다.
• 여러 개의 스플릿 모드 프로시저에서 시간 절감 효과가 비선형적으로 나타나는 것은 체크포인팅 오버헤드와 데이터 이동 간의 복잡한 상호작용을 시사하며, 이는 반복적인 성능 모델링이 필요함을 의미한다.