[논문 리뷰] Principles of Automatic Differentiation

Philipp Hoffmann|arXiv (Cornell University)|2014. 11. 03.

Numerical methods for differential equations참고 문헌 7인용 수 3

한 줄 요약

이 논문은 자동 미분(AD)의 수학적 기초를 수립하며, 이중 수, 행렬-벡터 곱, 테일러 전개, 프로젝션 연산자 등과 같은 후행 모드 AD의 다양한 표현 방식을 그들의 계산적 동치성에 의해 통합한다. 또한 고차 후행 모드 AD를 도입하고, 후행 모드 AD와 전행 모드 AD를 비교하여 그들의 공통된 계산적 근본 원리를 명확히 한다.

ABSTRACT

This article provides an overview of some of the mathematical principles of Automatic Differentiation (AD). In particular, we summarise different descriptions of the Forward Mode of AD, like the matrix-vector product based approach, the idea of lifting functions to the algebra of dual numbers, the method of Taylor series expansion on dual numbers and the application of the push-forward operator, and explain why they all reduce to the same actual chain of computations. We further give a short mathematical description of some methods of higher-order Forward AD and, at the end of this paper, describe the Reverse Mode and explain its relation to the Forward Mode.

연구 동기 및 목표

• 후행 모드 자동 미분의 다양한 수학적 표현 방식을 일관된 계산 프레임워크로 통합하기 위해.
• 이중 수와 프로젝션 연산자와 같은 서로 다른 보기에 비슷한 AD 접근 방식 간의 동치성을 공통의 계산 체인을 통해 명확히 하기 위해.
• 고차 후행 모드 AD로의 분석 확장을 도모하고, 기초 원리 관점에서 후행 모드 AD를 전행 모드 AD와 연결하기 위해.
• AD에 대한 수학적으로 엄밀한 기초를 제공하여 구현과 이론적 이해를 지원하기 위해.

제안 방법

• 각 수가 값과 도함수 성분을 지닌 이중 수의 대수를 사용하여 후행 모드 AD를 체계화하기.
• 방향 도함수의 맥락에서 행렬-벡터 곱을 통해 연쇄법칙을 표현하기.
• 이중 수 위에서의 테일러 급수 전개를 통해 동일한 계산 결과를 도출하고 도함수의 순서를 유지하기.
• 복합 함수를 통한 도함수 전파를 모델링하기 위해 프로젝션 연산자를 적용하기.
• 재귀적 리프팅과 고차 이중 수를 사용하여 고차 도함수로의 프레임워크 확장하기.
• 첨도 전파와 전방 누적의 대칭성 분석을 통해 후행 모드 AD를 전행 모드 AD와 비교하기.

실험 결과

연구 질문

• RQ1 이중 수, 행렬-벡터 곱, 테일러 급수, 프로젝션 연산자 등 후행 모드 AD의 다양한 표현 방식이 어떻게 동일한 계산 결과를 도출하는가?
• RQ2 이러한 다양한 AD 표현 방식 간의 동치성을 뒷받침하는 수학적 구조는 무엇인가?
• RQ3 후행 모드 AD 원칙을 활용하여 고차 도함수를 체계적으로 계산할 수 있는 방법은 무엇인가?
• RQ4 계산적 및 대수적 구조 관점에서 후행 모드 AD는 전행 모드 AD와 어떤 방식으로 관련되어 있는가?

주요 결과

• 이중 수, 행렬-벡터 곱, 테일러 급수, 프로젝션 연산자 등 후행 모드 AD의 모든 표현 방식은 동치적인 계산 행동 덕분에 동일한 도함수 체인을 계산한다.
• 이중 수의 사용은 첫 번째 도함수에 대한 연쇄법칙을 자연스럽게 코딩하는 대수적 프레임워크를 제공한다.
• 고차 후행 모드 AD는 이중 수에 고차 항을 추가하여 구성할 수 있으며, 이는 체계적인 도함수 계산을 가능하게 한다.
• 후행 모드 AD는 전행 모드 AD와 수학적으로 이중적이며, 핵심적인 차이점은 도함수 전파 방향과 첨도의 사용 여부에 있다.