[논문 리뷰] On the Equivalence of Forward Mode Automatic Differentiation and Symbolic Differentiation

Soeren Laue|arXiv (Cornell University)|2019. 01. 01.

Advanced Control Systems Optimization참고 문헌 18인용 수 2

한 줄 요약

이 논문은 전진 모드 자동 미분(AD)과 기호 미분 사이에 수학적으로 동일한 관계가 있음을 보여주며, 동일한 함수의 도함수를 계산할 때 동일한 연산을 수행함을 입증한다. 일반적으로 널리 퍼져 있는 믿음인 '기호 미분은 표현 팽창(expression swell) 문제를 겪지만 AD는 그렇지 않다'는 견해에 도전하며, 동일한 조건에서 둘 다 동일한 표현 블로트(bloat) 문제를 겪음을 보여준다.

ABSTRACT

We show that forward mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from expression swell whereas automatic differentiation does not. Here, we show that this statement is not true. Expression swell refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.

연구 동기 및 목표

• 전진 모드 자동 미분과 기호 미분 간의 계산 행동이 본질적으로 다르다는 일반적인 인식에 도전하기 위해.
• 기호 미분은 표현 팽창 문제를 겪는 데 반해 자동 미분은 그렇지 않다는 주장이 실제로 맞는지 조사하기 위해.
• 도함수 계산 과정에서 수행하는 연산 측면에서 두 방법 간의 공식적 동치성을 수립하기 위해.
• 기호 미분 대비 자동 미분의 확장성 및 표현 효율성에 관해 문헌에서 퍼진 오해를 명확히 하기 위해.

제안 방법

• 저자들은 동일한 수학적 표현에 대해 전진 모드 AD와 기호 미분의 계산 단계를 공식적으로 비교한다.
• 두 방법이 수행하는 산술 및 도함수 연산의 순서를 분석하여 동일한 연산 트리가 생성됨을 보여준다.
• 분석은 특히 도함수 표현의 크기와 복잡도에 초점을 맞춘 중간 표현의 표현 방식을 다룬다.
• 표현 팽창을 원래 함수 대비 도함수 표현의 크기 증가로 정의하고, 두 방법 모두에서 평가한다.
• 동일한 중간 표현과 동일한 순서로 동일한 연산을 수행함으로써 두 방법 간의 동치성을 입증한다.
• 계산의 공식적 모델을 사용하여 유일한 차이는 구현 전략에 있으며, 기초적인 수학적 과정에는 차이가 없다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 전진 모드 자동 미분과 기호 미분은 도함수를 계산할 때 실제로 계산 행동이 다르게 작용하는가?
• RQ2 기호 미분은 본질적으로 표현 팽창 문제를 겪는 데 반해 전진 모드 AD는 이를 피한다는 주장은 사실인가?
• RQ3 동일한 조건에서 기호 미분과 전진 모드 AD 간의 도함수 표현 크기를 동일하게 보일 수 있는가?
• RQ4 실제 적용에서 기호 미분과 자동 미분 간의 인식 차이의 실제 근본 원인은 무엇인가?
• RQ5 기호 미분과 자동 미분 간의 차이는 수학적 원리에 기반하는가, 아니면 구현 히ュ리스틱에 기반하는가?

주요 결과

• 전진 모드 자동 미분과 기호 미분은 동일한 함수의 도함수를 계산할 때 동일한 연산을 수행한다.
• 기호 미분은 표현 팽창 문제를 겪고 자동 미분은 그렇지 않다는 주장은, 두 방법이 동일한 조건에서 적용될 경우 잘못된 것이다.
• 표현 팽창은 기호 미분의 본질적 특성이 아니라 둘 다 공유하는 표현 선택의 결과이므로, 기호 미분 고유의 문제는 아니다.
• 두 방법은 수행하는 연산의 순서와 중간 표현의 구조 측면에서 수학적으로 동치이다.
• 두 방법 간의 인식 차이는 계산 행동이 아니라 구현 세부 사항과 표현 관리 방식에 기인한다.
• 두 방법이 모두 적용 가능한 모든 미분 가능한 함수에 대해, 표준 평가 순서와 표현 간소화 규칙 하에서는 동치성이 유지된다.