[논문 리뷰] Forward- or Reverse-Mode Automatic Differentiation: What's the Difference?

Birthe van den Berg, Tom Schrijvers외 2명|arXiv (Cornell University)|2022. 12. 21.

Formal Methods in Verification인용 수 4

한 줄 요약

이 논문은 함수형 프로그래밍 환경에서 반복적 구조를 통해 양자화된 반복적 미분(AD)의 구현을 형식화함으로써 전방모드와 역방향모드 AD 간의 차이를 명확히 한다. 전방모드 AD는 이중수 반군 구조를, 역방향모드 AD는 이중수의 이중구조를 통해 자연스럽게 유도되며, 이는 기능적 언어에서 AD에 대한 통합적이고 수학적으로 엄밀한 기반을 제공한다.

ABSTRACT

Automatic differentiation (AD) has been a topic of interest for researchers in many disciplines, with increased popularity since its application to machine learning and neural networks. Although many researchers appreciate and know how to apply AD, it remains a challenge to truly understand the underlying processes. From an algebraic point of view, however, AD appears surprisingly natural: it originates from the differentiation laws. In this work we use Algebra of Programming techniques to reason about different AD variants, leveraging Haskell to illustrate our observations. Our findings stem from three fundamental algebraic abstractions: (1) the notion of module over a semiring, (2) Nagata's construction of the 'idealization of a module', and (3) Kronecker's delta function, that together allow us to write a single-line abstract definition of AD. From this single-line definition, and by instantiating our algebraic structures in various ways, we derive different AD variants, that have the same extensional behaviour, but different intensional properties, mainly in terms of (asymptotic) computational complexity. We show the different variants equivalent by means of Kronecker isomorphisms, a further elaboration of our Haskell infrastructure which guarantees correctness by construction. With this framework in place, this paper seeks to make AD variants more comprehensible, taking an algebraic perspective on the matter.

연구 동기 및 목표

• 전방모드와 역방향모드 AD 간의 개념적 및 실행 수준의 차이를 명확히 하는 것.
• 기능적 프로그래밍 철학 내에서 반군 구조를 사용하여 두 AD 모드를 형식화하는 것.
• 전방모드 AD가 이중수 반군에 대응하고, 역방향모드 AD가 이중수의 이중구조에서 유도된다는 것을 보여주는 것.
• 대수적 추상화를 통해 둘 다를 일관되고 타입 안전한 방식으로 구현할 수 있는 통합된 프레임워크를 제공하는 것.
• 특히 강력한 타입 체계를 갖춘 기능적 언어에서 정확성과 성능에 대한 추론을 가능하게 하기 위해 형식적 의미론을 활용하는 것.

제안 방법

• 덧셈과 곱셈 연산을 갖춘 반군 (Expr v) 으로 이중수 표현하기.
• 표준 이중수 반군을 사용하여 전방모드 AD 정의하기 — 각 값이 평가 중에 도함수 성분을 지닌다.
• 역방향모드 AD는 이중수의 이중구조를 통해 모델링하며, 도함수는 역순으로 누적된다.
• 덧셈(⊕), 곱셈(⊗) 연산을 반군 연산으로 표현하여 타입 수준의 차이를 통해 두 모드를 지원하기.
• 반군 인스턴스를 사용하여 제어 흐름이 아닌 대수적 구조를 통해 전방 및 역방향 AD 동작을 유도하기.
• 기능적 프로그래밍 추상화를 활용하여 정확성을 보장하고 AD 구현에서 흔히 발생하는 오류를 방지하기.

실험 결과

연구 질문

• RQ1 전방모드와 역방향모드 AD는 그 기초가 되는 대수적 구조에서 어떻게 다를까?
• RQ2 반군을 사용하여 두 AD 모드를 하나의 의미론적 프레임워크 아래 통합할 수 있는가?
• RQ3 기능적 환경에서 역방향모드 AD를 가능하게 하는 이중수의 이중구조는 어떤 역할을 하는가?
• RQ4 반군 의미론을 사용하여 두 AD 모드를 타입 안전하고 조합 가능한 방식으로 어떻게 구현할 수 있는가?
• RQ5 대수적 구조를 사용할 경우 AD 시스템의 정확성과 성능에 대한 추론에 어떤 영향을 미치는가?

주요 결과

• 전방모드 AD는 평가 과정에서 도함수 성분을 지닌 이중수 반군을 자연스럽게 모델링한다.
• 역방향모드 AD는 역순 순회를 통해 기울기를 효율적으로 누적할 수 있도록 이중수의 이중구조에서 유도된다.
• 두 모드 간의 차이는 알고리즘 설계가 아니라 반군 구조의 선택에 뿌리를 두고 있으며, 본질적으로 대수적이다.
• 반군 추상화 덕분에 두 모드가 동일한 기능적 프레임워크 내에서 구현 가능하며, 컴파일러가 타입 안전성을 보장한다.
• 이 접근법은 기능적 언어에서 AD를 위한 수학적으로 타당하고 조합 가능한 기반을 제공하여 구현 오류를 줄인다.
• 형식화 과정에서 역방향모드 AD는 별개의 알고리즘이 아니라 전방모드 AD의 반군 프레임워크 하에서 이중 구조로 유도된다는 것이 드러났다.