[논문 리뷰] Building the Tangent and Adjoint codes of the Ocean General Circulation Model OPA with the Automatic Differentiation tool TAPENADE

Moulay Hicham Tber, Laurent Hascoët외 2명|ArXiv.org|2007. 11. 28.

Reservoir Engineering and Simulation Methods인용 수 10

한 줄 요약

이 논문은 FORTRAN95로 작성된 OPA 해양 순환 모델을 대상으로 TAPENADE 자동 미분 도구를 사용하여 탄성 및 수반 모델를 자동 생성하는 방법을 제시한다. 역방향 미분 방식과 Griewank-Walther의 이항 체크포인팅 알고리즘을 적용하여, 개발 비용을 합리적으로 유지하면서도 높은 정확도의 도함수를 확보하였으며, 쌍둥이 실험과 분할 차분을 통한 검증을 통해 기존 수작업 구현에 비해 개발 시간을 크게 단축시켰다.

ABSTRACT

The ocean general circulation model OPA is developed by the LODYC team at Paris VI university. OPA has recently undergone a major rewriting, migrating to FORTRAN95, and its adjoint code needs to be rebuilt. For earlier versions, the adjoint of OPA was written by hand at a high development cost. We use the Automatic Differentiation tool TAPENADE to build mechanicaly the tangent and adjoint codes of OPA. We validate the differentiated codes by comparison with divided differences, and also with an identical twin experiment. We apply state-of-the-art methods to improve the performance of the adjoint code. In particular we implement the Griewank and Walther's binomial checkpointing algorithm which gives us an optimal trade-off between time and memory consumption. We apply a specific strategy to differentiate the iterative linear solver that comes from the implicit time stepping scheme

연구 동기 및 목표

• 기존에 수개월에 걸쳐 수작업으로 작성되어야 했던 OPA 해양 모델의 탄성 및 수반 코드를 자동화하여 생성하는 것.
• 대규모 해양 모델에서 수반 모델를 수작업으로 구현할 경우 발생하는 개발 비용과 실수 위험을 줄이는 것.
• 수치적 비교와 쌍둥이 실험을 통해 자동 생성된 도함수의 정확성과 성능을 검증하는 것.
• 이항 방법과 같은 고급 체크포인팅 전략을 활용하여 수반 코드의 효율성을 최적화하는 것.
• 해양학 분야의 대규모 FORTRAN95 과학 계산 코드에 대해 TAPENADE의 적용 가능성과 확장성을 입증하는 것.

제안 방법

• FORTRAN95로 작성된 OPA 9 모델에 TAPENADE의 역방향 자동 미분 기법을 적용하는 것.
• 수반 계산의 메모리 및 시간 오버헤드를 최소화하기 위해 Griewank와 Walther의 이항 체크포인팅 알고리즘을 사용하는 것.
• 암시적 시간 스텝 방식에서 사용되는 반복 선형 해법기구에 특화된 미분 전략을 적용하는 것.
• 분할 차분과 합성 관측 자료를 사용한 쌍둥이 실험을 통한 도함수 검증.
• 기울기 기반 최적화 루프를 사용하여 자동으로 미분된 코드를 변분 자료 융합 프레임워크에 통합하는 것.
• 프로파일링을 통해 비필수 체크포인팅 호출을 식별하고 최적화하여 수반 코드 성능을 향상시키는 것.

실험 결과

연구 질문

• RQ1 TAPENADE와 같은 자동 미분 도구가 대규모 해양 순환 모델에 대해 정확한 탄성 및 수반 모델을 효과적으로 생성할 수 있는가?
• RQ2 기존 수작업 구현 대비 자동 생성된 수반 코드의 성능은 메모리 소비 및 실행 시간 측면에서 어떻게 비교되는가?
• RQ3 장기적인 해양 모의 시뮬레이션에서 메모리 소비와 계산 비용 간의 최적 균형을 이루는 체크포인팅 전략은 무엇인가?
• RQ4 암시적 시간 스텝 방식 내부의 반복 해법기는 자동 미분을 통해 어떻게 효과적으로 미분될 수 있는가?
• RQ5 프리프로세서 지시자와 현대적 언어 기능을 활용하여 복잡한 과학 계산 코드에 자동 미분를 얼마나 널리 적용할 수 있는가?

주요 결과

• 자동 생성된 수반 코드는 높은 정확도를 확보하였으며, 분할 차분과 쌍둥이 실험을 통한 검증을 통해 도함수의 정확성이 확인되었다.
• 쌍둥이 실험에서 목적 함수가 두 개의 지수만큼 감소하여 진짜 초기 상태로의 수렴이 성공적으로 이루어졌음을 나타냈다.
• 이항 체크포인팅 전략은 메모리 소비와 계산 시간 간의 최적 균형을 제공하였으며, 다수준 접근 방식보다 뛰어난 성능을 보였다.
• 1000개의 시간 단계 동안 수반 코드는 전방 모델 대비 느려짐 요소가 오직 7배에 불과하여 해양 모델링 기준으로 매우 뛰어난 성능를 기록하였다.
• TAPENADE의 사용으로 이전에 수개월이 걸렸던 수작업 구현 대비 개발 시간이 크게 단축되었다.
• 쌍둥이 실험에서 노이즈가 섞인 편향된 초기 해수면 온도를 정확히 복원하는 데 성공하여 도함수 품질이 확인되었다.