[논문 리뷰] A Geometric Theory of Higher-Order Automatic Differentiation

Michael Betancourt|arXiv (Cornell University)|2018. 12. 30.

Numerical methods for differential equations참고 문헌 10인용 수 14

한 줄 요약

이 논문은 제트 공간을 사용하여 고차 미분을 위한 미분기하학적 프레임워크를 개발하며, 유효한 고차 미분 연산자를 체계적으로 식별하고 계산 그래프를 통해 명시적이고 효율적인 전파 규칙을 가능하게 한다. 주요 기여는 고차 편미분을 전파 업데이트에서 분리하는 통합 이론을 제공함으로써 소프트웨어 구현에서 성능 최적화 기회를 드러내고 혼합모드 알고리즘에서 메모리 사용량과 계산 중복성 간의 상충 관계를 부각하는 데 있다.

ABSTRACT

First-order automatic differentiation is a ubiquitous tool across statistics, machine learning, and computer science. Higher-order implementations of automatic differentiation, however, have yet to realize the same utility. In this paper I derive a comprehensive, differential geometric treatment of automatic differentiation that naturally identifies the higher-order differential operators amenable to automatic differentiation as well as explicit procedures that provide a scaffolding for high-performance implementations.

연구 동기 및 목표

• 계산 통계 및 기계학습 분야에서 고차 자동미분을 위한 체계적이고 고성능 프레임워크의 부족을 해결하기 위해.
• 일阶 도함수를 초월하여 자동미분에 적합한 고차 도함수 연산자를 식별하고 체계화하기 위해.
• 기존 고차 자동미분 도구에서 재귀적 일阶 방법으로 인해 발생하는 혼동과 비효율성을 해결하기 위해.
• 도함수 계산과 전파를 분리함으로써 고차 도함수의 명시적이고 최적화된 구현을 가능하게 하는 기하학적 기초를 제공하기 위해.
• 혼합모드 고차 자동미분을 구현할 때 메모리 사용량과 계산 중복성 간의 핵심 성능 상충 관계를 드러내기 위해.

제안 방법

• 제트 공간을 사용하여 고차 자동미분를 체계화함으로써, 고차 도함수를 캐릭터라이즈하는 일반화된 탄성 벡터를 정의함.
• 계산 그래프를 따라 고차 도함수의 전진 및 역방향 전파를 모델링하기 위해 속도 공간과 코속도 공간을 도입함.
• 복합 함수를 따라 속도를 전진시키고 코속도를 끌어내리는 명시적 변환 규칙을 유도함.
• 각 계산 노드에서 다수의 도함수 성분을 추적함으로써 고차 도함수(예: 헤시안, 세계도함수 텐서)를 계산하는 국소적 혼합모드 알고리즘을 개발함.
• 값, 속도, 고차 코속도(예: a, b, g, e)를 저장하는 스택 기반 데이터 구조를 제안하여 역방향 스윕을 효율적으로 수행함.
• 재귀적 일阶 자동미분보다 명시적 비재귀 알고리즘이 중복 계산을 피하고 더 나은 캐싱 전략을 가능하게 하여 더 뛰어난 성능을 낼 수 있음을 입증함.

실험 결과

연구 질문

• RQ1 어떤 고차 도함수 연산자가 자연스럽게 자동미분에 적합한가, 그리고 이를 체계적으로 식별하는 방법은 무엇인가?
• RQ2 제트 공간의 기하학적 구조를 어떻게 활용하여 고차 도함수의 정확하고 효율적인 전파 규칙을 도출할 수 있는가?
• RQ3 메모리 사용량과 계산량 측면에서 재귀적 일阶 자동미분과 명시적 고차 자동미분 알고리즘 간의 성능 상충 관계는 어떠한가?
• RQ4 고차 편미분 계산과 전파 논리를 분리함으로써 소프트웨어 구현이 어떻게 개선될 수 있는가?
• RQ5 복잡한 함수에서 공유되는 중간 계산이 고차 자동미분에서 캐싱과 성능에 미치는 영향은 무엇인가?

주요 결과

• 제트 공간 형식은 헤시안 행렬 및 세계도함수와 같은 유효한 고차 도함수 연산자를 자연스럽게 식별하는 엄밀한 기하학적 기초를 제공한다.
• 편미분 계산과 전파를 분리함으로써 비재귀적 명시적 고차 자동미분 알고리즘을 도출할 수 있으며, 이는 더 효율적인 구현을 가능하게 한다.
• 혼합모드 고차 자동미분 방법은 공유되는 고비용 중간 계산을 캐시하여 중복성을 줄이기 위해 중간 값의 관리를 신중히 해야 한다.
• 국소적 혼합모드 알고리즘을 사용할 경우 고차 도함수 계산의 비용은 입력 변수의 수에 비례하여 선형적으로 증가하므로 중간 차원 수준에서 실용적이다.
• 고차원 목표 함수의 경우 순수 역방향 모드 헤시안 계산이 다중 스weep 혼합모드 방법보다 더 나은 메모리 국소성과 더 적은 중복 계산으로 인해 성능이 뛰어날 수 있다.
• 이 이론은 재귀적 일阶 자동미분의 반복 적용이 고차 연산자의 진정한 구조를 가리고 최적화를 어렵게 한다는 것을 드러낸다.