[논문 리뷰] On the Equivalence of Automatic and Symbolic Differentiation

Soeren Laue|arXiv (Cornell University)|2019. 04. 05.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 역방향 자동 미분과 기호 미분 간에 알고리즘적으로 동일하다고 보여주며, 공통 부분 표현식을 사용할 경우 두 방법이 도함수를 계산할 때 동일한 연산을 수행함을 입증한다. 핵심 통찰은 공통 부분 표현식을 사용할 경우 두 방법이 동일한 도함수 표현식을 계산한다는 점이며, 이는 자동 미분이 '표현식 팽창(expression swell)'을 피한다는 널리 퍼진 믿음을 뒤집는다. 실제로 표현식 팽창은 미분 자체가 아니라 표현 방식의 열악함에서 비롯된다.

ABSTRACT

We show that reverse mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from "expression swell" whereas automatic differentiation does not. Here, we show that this statement is not true. "Expression swell" refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.

연구 동기 및 목표

• 자신들 간에 본질적으로 다르다고 여겨지는 자동 미분과 기호 미분 간의 일반적인 믿음을 도전하기 위해.
• 자신들 간에 본질적으로 다르다고 여겨지는 자동 미분과 기호 미분 간의 일반적인 믿음을 도전하기 위해.
• 표현식 팽창이 자동 미분의 핵심적 이점으로 자주 언급되지만, 이는 기호 미분 자체에 내재된 것이 아니라 비효율적인 표현 방식에서 비롯된 것임을 명확히 하기 위해.
• 공통 부분 표현식을 적절히 관리할 경우 두 방법이 동일한 연산을 수행함을 보여주기 위해.
• Theano와 같은 도구들이 자동 또는 기호 미분을 사용한다고 애매하게 분류되는 데서 발생하는 문헌 내 혼동을 해결하기 위해.
• 제어 구조(예: if-else 또는 반복문)가 두 방법 간의 차이를 본질적으로 만들지 않으며, 두 방법 모두 기초가 되는 계산 그래프 위에서 작동하므로 제어 흐름이 추상화됨을 보여주기 위해.

제안 방법

• 논문은 함수를 방향성 비순환 그래프(DAG)로 모델링하여 프로그램의 계산 추적을 표현한다.
• 공통 부분 표현식을 포함한 DAG와 표현식 숲에서, 역방향 자동 미분과 기호 미분의 차이를 분석함으로써 두 방법을 비교한다.
• 각 노드에 대해 자식 노드의 도함수를 기반으로 체인 규칙을 사용하여 도함수를 계산하는 재귀 규칙을 정식화함으로써 도함수 계산 과정을 수학적으로 기술한다.
• 공통 부분 표현식을 복제하지 않고 포인터로 저장할 경우, 기호 미분과 역방향 자동 미분이 동일한 중간 및 최종 결과를 생성함을 보여준다.
• Speelpenning의 예제(f(x₁,…,xₙ) = x₁x₂…xₙ)를 사용하여, 두 방법이 동일한 기울기를 계산함을 설명한다. 이는 최종 출력이 크게 보일 수는 있지만, 이는 효율성 문제와는 무관하다.
• 표현식 간소화와 공통 부분 표현식 제거는 도함수 계산 후가 아니라 계산 과정 중에 수행될 수 있으며, 이는 두 방법이 동일한 효율성을 가지게 한다.

실험 결과

연구 질문

• RQ1 역방향 자동 미분과 기호 미분은 실제로 계산 연산에서 본질적으로 다를까?
• RQ2 '표현식 팽창'은 미분 과정 자체에서 발생하는가, 아니면 표현식 표현 방식의 선택에서 비롯되는가?
• RQ3 공통 부분 표현식을 적절히 관리할 경우 기호 미분도 자동 미분만큼 효율적으로 작동할 수 있는가?
• RQ4 제어 구조(예: if-else 또는 반복문)는 두 방법 간의 동등성에 어떤 영향을 미치는가?
• RQ5 자기 미분과 기호 미분 간의 차이는 구현 방식의 문제인지, 본질적인 알고리즘적 차이의 문제인지인가?

주요 결과

• 공통 부분 표현식을 사용할 경우, 역방향 자동 미분과 기호 미분은 동일한 연산 집합을 수행하므로 알고리즘적으로 동일하다고 입증된다.
• 표현식 팽창 현상은 기호 미분에서 비롯되지 않으며, 공통 부분 표현식이 없는 트리로 DAG를 변환할 때 발생한다. 이는 계산 문제라기보다 표현 문제이다.
• 공통 부분 표현식을 포인터로 저장할 경우, 도함수 표현식의 크기는 원래 DAG의 크기와 선형적으로 유지되어 지수적 증가를 피할 수 있다.
• 공통 부분 표현식 제거를 후행적으로 수행해야 한다는 주장은 잘못되었으며, 이를 도함수 계산 과정 중에 통합할 수 있어 기호 미분도 자동 미분만큼 효율적일 수 있다.
• 제어 구조는 동등성을 깨뜨리지 않으며, 두 방법 모두 기초가 되는 계산 그래프 위에서 작동하므로 제어 흐름이 추상화된다.
• Speelpenning의 예제는 기호 미분의 비효율성을 보여주지 않는다. 두 방법 모두 동일한 기울기를 계산하며, 최종 출력 크기는 간소화를 통해 줄어들며, 이는 본질적인 알고리즘적 이점 때문이 아니라 간소화 덕분이다.