[논문 리뷰] Functorial String Diagrams for Reverse-Mode Automatic Differentiation

Mario Alvarez-Picallo, Dan R. Ghica외 2명|arXiv (Cornell University)|2021. 07. 28.

Modeling and Simulation Systems참고 문헌 9인용 수 7

한 줄 요약

이 논문은 단순형태 람다계산을 위한 역방향 자동미분(AD)의 타당성을 공리적으로 모델링하고 증명하기 위해 계층적 특징을 갖춘 새로운 함자적 스트링 다이어그램 계산법을 제안한다. AD를 계층적 하이퍼그래프(이하 하이퍼넷)에서의 그래프 리라이팅으로 표현함으로써, 원칙적이고 효율적이며 공리적으로 검증된 구현 프레임워크를 제공하며, 이 분야에서 페럴무트와 시스킨드의 AD 알고리즘에 대한 첫 번째 타당성 증명을 수립한다.

ABSTRACT

We enhance the calculus of string diagrams for monoidal categories with hierarchical features in order to capture closed monoidal (and cartesian closed) structure. Using this new syntax we formulate an automatic differentiation algorithm for (applied) simply typed lambda calculus in the style of [Pearlmutter and Siskind 2008] and we prove for the first time its soundness. To give an efficient yet principled implementation of the AD algorithm we define a sound and complete representation of hierarchical string diagrams as a class of hierarchical hypergraphs we call hypernets.

연구 동기 및 목표

• 페럴무트와 시스킨드(2008)가 제안한 역방향 자동미분 알고리즘의 타당성을 공리적으로 증명하는 것. 이는 이 연구 이전까지 확립되지 않은 바이다.
• 모노이드 범주를 위한 스트링 다이어그램 계산법에 계층적 구조를 추가하여 닫힌 모노이드 범주와 카르테시안 닫힘 범주를 표현함으로써 고차함수와 클로처를 표현할 수 있도록 하는 것.
• 이중-푸시아웃(DPO) 그래프 리라이팅과 호환되는 데이터 구조로서 계층적 하이퍼그래프(하이퍼넷)를 사용하여, 구체적이고 효율적이며 공리적으로 타당한 AD의 구현을 개발하는 것.
• 사양과 구현 수준에서의 개념을 통합하기 위해, 하나의 형식적 체계인 함자적 스트링 다이어그램을 사양과 구현 모두에 동일하게 사용하는 것.

제안 방법

• 모노이드 범주에서의 함자, 자연변환 및 고차함수 구조를 표현하기 위해 레이블이 부여된 프레임과 계층적 중첩을 스트링 다이어그램 문법에 추가한다.
• 전진 및 역방향 계산을 위한 리라이팅 체계를 도입한다: 전진 계산은 내장된 역전파기구를 가진 원시 다이어그램을 구성하고, 역방향 계산은 기울기 전파를 위해 끌어올림 다이어그램을 적용한다.
• 계층적 스트링 다이어그램 계산법을 정확하고 완전하게 표현할 수 있는 하이퍼그래프의 클래스인 '하이퍼넷'을 정의한다.
• 정의된 그래프 리라이팅 규칙에 기반해 이중-푸시아웃(DPO) 리라이팅을 사용하여 AD 변환을 구현함으로써, 정확성과 모oduularity를 보장한다.
• 감도 정보를 와이어 순열을 통해 유지하면서, 고차함수와 응용에 대해 연역적으로 수반 규칙을 적용하여 AD 변환을 수행한다.
• 와이어 순열을 고려한 다이아몬드 성질을 이용한 증명을 통해 리라이팅 체계의 확장성(confluence)을 입증함으로써, 결정적이고 정확한 실행을 지원한다.

실험 결과

연구 질문

• RQ1 고차함수를 위한 역방향 자동미분 알고리즘이 그래픽적, 범주론적 프레임워크를 통해 공리적으로 타당성이 증명될 수 있는가?
• RQ2 스트링 다이어그램은 어떻게 계층적 구조를 추가하여 닫힌 모노이드 범주와 카르테시안 닫힘 범주를 표현할 수 있으며, 이는 자동미분을 지원하는가?
• RQ3 리라이팅을 통해 효율적이고 정확한 AD 구현을 지원할 수 있는 타당하고 완전한 그래프 기반 데이터 구조는 무엇인가?
• RQ4 AD 변환은 계층적 하이퍼그래프 위에서 단일한 그래프 리라이팅 체계로 균일하게 표현될 수 있으며, 이는 정확성과 모듈성을 유지하는가?

주요 결과

• 이 논문은 단순형태 람다계산의 맥락에서 페럴무트와 시스킨드(2008)의 역방향 AD 알고리즘에 대한 첫 번째 공리적 타당성 증명을 수립한다.
• 제안된 계층적 스트링 다이어그램 계산법은 AD 알고리즘을 명확하고 모듈적이며 인도적 방식으로 표현할 수 있게 하여 타당성 증명을 용이하게 한다.
• 전진 및 역방향 계산을 위한 리라이팅 체계는 와이어 순열을 고려한 다이아몬드 성질을 만족함을 입증하여, 확장성과 결정적 실행을 보장한다.
• 하이퍼넷 클래스는 계층적 스트링 다이어그램을 정확하고 완전하게 표현할 수 있으며, 이는 DPO 리라이팅을 통한 효율적이고 원칙적인 AD 구현을 가능하게 한다.
• AD 변환은 정확하게 도함수를 계산한다. 구체적인 예시(x² + x)에서 입력 1에 대해 역전파기구가 정확한 도함수를 도출함을 검증하였다.