[논문 리뷰] Evolving the Incremental Lambda Calculus into a Model of Forward Automatic Differentiation (AD)

Robert Kelly, Barak A. Pearlmutter외 1명|arXiv (Cornell University)|2016. 11. 10.

Logic, programming, and type systems참고 문헌 5인용 수 7

한 줄 요약

이 논문은 유한한 변화를 멱급수로 변환하고 원시값과 탄성값을 묶는 방식으로 Incremental Lambda Calculus (ILC)를 정식적인 전진 자동미분(AD) 모델로 발전시킨다. 이 접근법은 정확성과 효율성에 대한 기계 검증 가능한 증명을 가능하게 하며, 최종적으로 사영수 기반의 전진 AD 시스템을 제공한다. 이 시스템은 비연결(unary), 묶인 출력을 갖추고 있어 체인 규칙을 만족한다.

ABSTRACT

Formal transformations somehow resembling the usual derivative are surprisingly common in computer science, with two notable examples being derivatives of regular expressions and derivatives of types. A newcomer to this list is the incremental λ-calculus, or ILC, a "theory of changes" that deploys a formal apparatus allowing the automatic generation of efficient update functions which perform incremental computation. The ILC is not only defined, but given a formal machine-understandable definition---accompanied by mechanically verifiable proofs of various properties, including in particular correctness of various sorts. Here, we show how the ILC can be mutated into propagating tangents, thus serving as a model of Forward Accumulation Mode Automatic Differentiation. This mutation is done in several steps. These steps can also be applied to the proofs, resulting in machine-checked proofs of the correctness of this model of forward AD.

연구 동기 및 목표

• Incremental Lambda Calculus (ILC)를 기반으로 하여 전진 자동미분(AD)을 정식화하는 것.
• ILC의 유한한 변화와 AD가 필요한 무한소 탄성값 간의 불일치를 해결하기 위해 멱급수 표현을 도입하는 것.
• 원시값과 탄성값을 비연결 및 묶음 처리를 통해 통합함으로써 체인 규칙의 정확한 전파를 가능하게 하는 것.
• 전진 AD의 정확성과 효율성에 대한 기계 검증 가능한 프레임워크를 제공하는 것.
• 수치 기반 함수와 업그레이드된 연산을 구분함으로써 이전의 유형 지정된 λ-계산 접근법에 비해 더 나은 혼합성과 모듈성을 확보하는 것.

제안 방법

• 실수에 대한 변화를 상수항이 0인 ε에 대한 멱급수로 표현하며, 재귀적 타입 ⟨zpsε⟩를 사용한다.
• 멱급수의 i번째 계수를 추출하는 계수 추출 연산자 coeffi를 정의하여 방향 도함수를 가능하게 한다.
• 구조적 재귀와 α-재이름을 사용하여 coeff를 대체 데이터 유형과 함수로 확장하여 변수 포획을 방지한다.
• ILC의 도함수 연산자 D를 비연결된 입력과 원시값 및 변화 집합 값을 곱형식 Ft ≡ t × ∆t로 묶음으로써 ˆD로 변환한다.
• 새로운 묶인, 비연결된 도함수 의미론을 지원하기 위해 ILC의 감소 규칙을 수정한다.
• 멱급수를 ε²에서 잘라내어 이중수를 얻음으로써 표준 전진 AD 형식론을 복원한다.

실험 결과

연구 질문

• RQ1 Incremental Lambda Calculus는 어떻게 체계적으로 전진 자동미분의 모델로 발전시킬 수 있는가?
• RQ2 유한한 변화를 AD에 적합한 무한소 탄성값으로 변환하기 위해 어떤 수정이 필요한가?
• RQ3 원시값과 탄성값은 함수 합성 과정에서 어떻게 일관되게 묶이고 전파될 수 있는가?
• RQ4 결과로 도출된 시스템은 체인 규칙을 유지할 수 있으며, 정확성에 대한 기계 검증 가능한 증명을 지원할 수 있는가?
• RQ5 이 접근법은 이전의 유형 지정된 λ-계산 모델에 비해 모듈성과 혼합성 측면에서 어떻게 향상되었는가?

주요 결과

• 변화의 멱급수 표현을 통해 계수 추출을 통한 체계적이고 방향 도함수 유도가 가능하며, coeff1은 표준 도함수를 복원한다.
• ILC에서 전진 AD로의 변환은 두 가지 명확한 단계로 이루어지며, 멱급수 확장과 비연결 및 묶음 처리를 통해 이루어지며, 이 두 단계는 서로 교환 가능하다.
• 결과적으로 도출된 ˆD 연산자는 간소화된 체인 규칙 ˆD(f ◦g) ⇝ ˆDf ◦ ˆDg를 만족하며, 표준 전진 AD의 동작과 일치한다.
• 형식적이고 유형 안정적인 구조 덕분에 정확성과 효율성에 대한 기계 검증 가능한 증명이 가능해진다.
• 수치 기반 함수와 업그레이드된 연산을 분리함으로써 혼합성이 향상되고 이전 시스템에서 발생하던 유형 수준의 모호성이 방지된다.
• 이 접근법은 Church-코딩된 데이터와 고계수 함수를 지원하며, α-재이름 및 구조적 coeffi 확장을 통해 탄성값의 정확한 전파를 보장한다.