[논문 리뷰] A Differential-form Pullback Programming Language for Higher-order Reverse-mode Automatic Differentiation

Carol Mak, C.-H. Luke Ong|arXiv (Cornell University)|2020. 02. 19.

Logic, programming, and type systems참고 문헌 26인용 수 10

한 줄 요약

이 논문은 미분형식의 당김을 통한 역방향 자동미분(AD)을 천연적으로 지원하는 고차 함수형 프로그래밍 언어를 소개한다. 이 언어는 일급(first-class) 미분 연산자와 함께, 진정으로 고차 환경에서 역방향 AD를 정확히 시뮬레이션하는 감소 전략을 제시하며, 헤인-반흐 분리정리(Hahn-Banach Separation Theorem)를 만족하는 미분 λ-범주(differential λ-categories)를 통해 정당성과 정확성을 증명한다.

ABSTRACT

Building on the observation that reverse-mode automatic differentiation (AD) -- a generalisation of backpropagation -- can naturally be expressed as pullbacks of differential 1-forms, we design a simple higher-order programming language with a first-class differential operator, and present a reduction strategy which exactly simulates reverse-mode AD. We justify our reduction strategy by interpreting our language in any differential $λ$-category that satisfies the Hahn-Banach Separation Theorem, and show that the reduction strategy precisely captures reverse-mode AD in a truly higher-order setting.

연구 동기 및 목표

• 역방향 자동미분을 천연적으로 지원하는 단순한 고차 함수형 프로그래밍 언어를 설계하는 것.
• 기능적이고 고차 환경에서 역방향 AD를 정확히 시뮬레이션하는 감소 전략을 제공하는 것.
• 범주론을 사용하여 감소 전략을 공식적으로 정당화하는 것, 특히 미분 λ-범주(differential λ-categories)를 중심으로 한다.
• 자유 변수, 쌍대(duals), 중첩된 추상화를 포함한 고차 함수의 미분을 가능하게 하는 것.
• 역방향 AD의 의미론을 1-form의 당김을 통해 미분기하학과 통합하는 것.

제안 방법

• 간단형식 λ-계산을 확장하여, 미분형식의 당김을 나타내는 일급 미분 연산자 $(\Omega\lambda x.\mathbb{P}) \cdot \mathbb{S}$ 를 도입한다.
• 함수 적용, 사영, 선형 사상, 쌍대, 당김을 포함한 컨텍스트와 레덕스(redexes)를 갖는 값 기반(call-by-value) 감소 전략을 사용한다.
• 핵심 구조물에 대한 감소 규칙을 정의: β-감소, 사영, 선형 사상 적용, 쌍대 사상 병합.
• 당김과 쌍대에 특화된 감소 규칙을 도입하며, 중첩된 당김 처리와 $\mathcal{J}\underline{f} \cdot \underline{r}$ 를 통한 자코비안(Jacobian) 계산을 포함한다.
• 감소 전략을 기능적 평가에 적합하게 하기 위해 계속성 전달 스타일(CPS) 변환을 적용한다.
• 감소 의미론을 검증하기 위해 헤인-반흐 분리정리를 만족하는 미분 λ-범주를 사용하는 범주론적 모델을 구축한다.

실험 결과

연구 질문

• RQ1 고차 기능적 언어에서 역방향 AD는 미분형식의 당김으로 자연스럽게 표현될 수 있는가?
• RQ2 고차 함수에 대해 정확히 역방향 AD를 시뮬레이션할 수 있는 감소 전략을 설계할 수 있는가?
• RQ3 미분의 의미론을 해석하는 범주론적 모델에서 제안된 감소 전략은 타당하고 완전한가?
• RQ4 언어는 자유 변수, 쌍대, 중첩된 당김을 포함한 고차 추상화의 미분을 지원할 수 있는가?
• RQ5 헤인-반흐 분리정리를 만족하는 미분 λ-범주를 기반으로 한 범주론적 모델이 감소 전략의 정확성을 검증하는가?

주요 결과

• 감소 전략은 고차 환경에서 역방향 AD를 정확히 포착하며, 당김을 통해 자코비안 행렬의 p번째 행을 정확히 계산한다.
• 언어는 자유 변수, 쌍대, 중첩된 추상화를 포함한 고차 함수의 미분을 정확도 손실 없이 지원한다.
• 감소 의미론은 일차 환경에서 역방향 AD와 일치하며, 고차 구조로 자연스럽게 확장된다.
• 감소 전략의 정확성은 헤인-반흐 분리정리를 만족하는 임의의 미분 λ-범주에서 언어를 해석함으로써 공식적으로 입증된다.
• 당김 연산자 $(\Omega\lambda x.\mathbb{P}) \cdot \mathbb{S}$ 는 1형식의 당김을 통해 $\lambda x.\mathbb{P}$ 를 점 $\mathbb{S}$ 에서 방향 도함수를 정확히 계산한다.
• 감소 전략의 CPS 변환은 효율적이고 모듈화된 평가를 가능하게 하며, 역방향 AD의 의미론을 유지한다.