[논문 리뷰] CHAD for Expressive Total Languages

Fernando Lucatelli Nunes, Matthijs Vákár|Data Archiving and Networked Services (DANS)|2021. 10. 01.

Logic, programming, and type systems참고 문헌 33인용 수 4

한 줄 요약

이 논문은 튜플, 합, 인도크티브, 코인도크티브, 함수 형식을 포함한 표현력 있는 총 기능 프로그래밍 언어로 조합형 동형 자동 미분(Combinatory Homomorphic Automatic Differentiation, CHAD)을 확장한다. $Σ$-형식과 새로운 논리적 관계 기법을 사용한 범주론적 의미론을 개발함으로써, CHAD가 수학적 도함수를 정확히 계산함을 증명하며, 풍부한 형식 체계에서 원칙적이고 순수한 함수형이며 형식적으로 올바른 전진 및 역방향 모드 AD를 가능하게 한다.

ABSTRACT

We show how to apply forward and reverse mode Combinatory Homomorphic Automatic Differentiation (CHAD) to total functional programming languages with expressive type systems featuring the combination of - tuple types; - sum types; - inductive types; - coinductive types; - function types. We achieve this by analysing the categorical semantics of such types in $Σ$-types (Grothendieck constructions) of suitable categories. Using a novel categorical logical relations technique for such expressive type systems, we give a correctness proof of CHAD in this setting by showing that it computes the usual mathematical derivative of the function that the original program implements. The result is a principled, purely functional and provably correct method for performing forward and reverse mode automatic differentiation (AD) on total functional programming languages with expressive type systems.

연구 동기 및 목표

• 표현력 있는 형식 체계(튜플, 합, 인도크티브, 코인도크티브, 함수 형식 포함)를 갖춘 총 기능 프로그래밍 언어로 조합형 동형 자동 미분(CHAD)을 확장하는 것.
• 표현력 있는 형식 체계에서 CHAD의 형식적, 의미론적 기반을 범주론적 의미론을 사용하여 제공하는 것.
• 새로운 범주론적 논리적 관계 기법을 사용하여 CHAD가 표준 수학적 도함수를 정확히 계산함을 증명함으로써 그 정확성을 확립하는 것.
• 고차원, 풍부한 형식 체계를 갖춘 언어에서 전진 및 역방향 모드 자동 미분에 대해 원칙적이고 순수한 함수형이며 형식적으로 검증된 소스코드 변환을 가능하게 하는 것.
• 스트림과 재귀적 트리와 같은 복잡한 데이터 구조를 갖는 언어에서 AD의 실용적 구현을 가능하게 하되, 효율성과 정확성은 유지하는 것.

제안 방법

• 적절한 기저 범주 위에서 $Σ$-형식(Grothendieck 구성)을 사용하여 표현력 있는 형식 체계를 위한 범주론적 의미론을 개발하는 것.
• CHAD의 대상 언어를 정의하여 전반적인 표현력 있는 형식을 지원함으로써, 원본 및 탄성 계산의 동형 인코딩을 가능하게 하는 것.
• 원본 언어에서 대상 언어로의 유일하게 정의된 동형 함자로서 전진 및 역방향 CHAD 알고리즘을 유도하는 것.
• 인도크티브 및 코인도크티브 형식을 모두 다루는 데에 적합한 새로운 범주론적 논리적 관계 기법(sconing)을 도입하는 것.
• 구체적인 의미론적 의미론 위에서 논리적 관계 구성법을 적용하여 CHAD가 도함수를 정확히 계산함을 증명하는 것.
• 초기 대수학 및 코대수학 의미론을 사용하여 재귀적 및 코재귀적 데이터 형식을 모델링함으로써, 미분에 대해 잘 정의된 행동을 보장하는 것.

실험 결과

연구 질문

• RQ1 총 기능 언어에서 인도크티브 및 코인도크티브 형식을 지원하기 위해 CHAD는 어떻게 확장될 수 있는가?
• RQ2 합, 곱, 함수 형식을 포함한 표현력 있는 형식 체계의 의미론을 구성할 수 있는 범주론적 프레임워크는 무엇인가? 이는 조합적 자동 미분을 가능하게 하는가?
• RQ3 자동 미분의 맥락에서 동시에 인도크티브 및 코인도크티브 형식을 다룰 수 있는 논리적 관계 기법을 개발할 수 있는가?
• RQ4 CHAD는 스트림이나 트리와 같은 복잡한 데이터 구조를 다루는 함수에 대해 표준 수학적 도함수를 정확히 계산하는가?
• RQ5 고차원 함수와 풍부한 형식 구성요소를 포함하는 환경에서 CHAD의 정확성을 어떻게 형식적으로 증명할 수 있는가?

주요 결과

• CHAD는 튜플, 합, 인도크티브, 코인도크티브, 함수 형식을 갖춘 총 기능 언어로 성공적으로 확장되어 전진 및 역방향 모드 AD를 지원한다.
• 논문은 인도크티브 및 코인도크티브 형식을 동시에 다룰 수 있는 새로운 범주론적 논리적 관계 기법을 사용하여 CHAD의 형식적 정확성 증명을 수립한다.
• 유도된 CHAD 변환은 인도크티브 형식 간의 함수, 특히 재귀적 데이터 구조에 대해 정확한 수학적 도함수를 계산하는 것으로 입증된다.
• 이 방법은 순수한 함수형이며 동형 함자 기반으로 구성되어 있어 조합적이고 형식적으로 안전한 미분을 보장한다.
• 런타임 추적 또는 고유한 운영 의미론 없이도 효율적인 정적 소스코드 변환을 지원한다.
• 코대수학적 의미론과 코인도크티브 추론을 통해 무한 또는 지연 평가 데이터 구조를 포함한 프로그램에서도 정확성 결과가 유지된다.