[논문 리뷰] Tangent: Automatic Differentiation Using Source Code Transformation in Python

Bart van Merriënboer, Alexander B. Wiltschko외 1명|arXiv (Cornell University)|2017. 11. 07.

Computational Physics and Python Applications참고 문헌 8인용 수 14

한 줄 요약

Tangent는 순수한 파이썬과 넘파이 코드에서 인간이 읽고 디버깅할 수 있는 기울기 함수를 생성하는 소스 코드 변환(SCT) 기반의 자동 미분 라이브러리이다. 이는 속도 면에서 Autograd를 능가하고 텐서플로우와 동등한 성능을 보이며, 사용자 정의 기울기 삽입을 통해 런타임 효율성과 확장성을 모두 확보하고 있다.

ABSTRACT

Automatic differentiation (AD) is an essential primitive for machine learning programming systems. Tangent is a new library that performs AD using source code transformation (SCT) in Python. It takes numeric functions written in a syntactic subset of Python and NumPy as input, and generates new Python functions which calculate a derivative. This approach to automatic differentiation is different from existing packages popular in machine learning, such as TensorFlow and Autograd. Advantages are that Tangent generates gradient code in Python which is readable by the user, easy to understand and debug, and has no runtime overhead. Tangent also introduces abstractions for easily injecting logic into the generated gradient code, further improving usability.

연구 동기 및 목표

• Autograd와 텐서플로우와 같은 추적 기반 자동 미분 시스템의 사용성 및 디버깅 가능성 문제를 소스 코드 변환(SCT)을 통해 해결한다.
• 사용자가 기계 학습 모델을 순수한 파이썬 문법과 완전한 제어 흐름을 활용해 작성할 수 있도록 하여 계산 그래프의 복잡성을 피한다.
• 컴파일 시점에 새로운 파이썬 함수를 생성함으로써 가독성 있고 검사 가능하며 최적화 가능한 기울기 코드를 제공한다.
• 복잡한 응용 사례(예: 단절된 역전파 또는 스트레이트스루 추정기)를 위한 기울기 계산에 사용자 정의 로직을 삽입할 수 있도록 지원한다.
• 인터프리터 해석 비용과 무관하게 사전에 자동 미분을 수행함으로써 런타임 오버헤드 없이 고성능을 달성한다.

제안 방법

• 사용자 정의 파이썬 함수를 추상 구문 트리(_AST_) 조작을 통해 변환하여 기울기를 계산하는 새로운 함수를 생성한다.
• 변환된 AST에 대해 전방 데이터 플로우 분석을 수행하여 활성 변수를 식별하고 최적화를 위한 제어 흐름 그래프(CFG)를 구성한다.
• 대부분의 기울기 계산에서 발생하는 0으로 초기화된 변수 제거 및 누적 연산 제거 등의 대수적 간소화와 사라진 코드 제거를 변환된 AST에 적용한다.
• 원래 의미를 유지하면서도 기울기 계산 로직을 삽입할 수 있도록 사용자 정의 AST 변환기를 사용한다.
• 일급 변환 연산을 통해 기울기 삽입을 지원하여 사용자가 생성된 기울기 함수에 사용자 정의 코드를 삽입할 수 있도록 한다.
• 변환된 AST에 컴파일러 기법을 적용하여 읽기 쉬운 코드와 높은 성능을 동시에 확보한다.

실험 결과

연구 질문

• RQ1 파이썬에서 소스 코드 변환을 통해 런타임 오버헤드 없이 인간이 읽을 수 있는 기울기 함수를 생성할 수 있는가?
• RQ2 Autograd와 같은 추적 기반 자동 미분 시스템, 텐서플로우와 같은 그래프 기반 프레임워크와 비교할 때 SCT 기반 자동 미분의 성능와 사용성은 어떠한가?
• RQ3 SCT 기반 자동 미분이 복잡한 제어 흐름 요소(예: 반복문과 조건문)를 자연스럽고 파이썬 스타일로 얼마나 잘 지원할 수 있는가?
• RQ4 원본 함수를 수정하거나 내부 런타임 메커니즘에 의존하지 않고도 사용자가 기울기 계산에 사용자 정의 로직을 삽입할 수 있는가?
• RQ5 실제 기계 학습 모델에 적용했을 때 SCT 기반 자동 미분의 실용적 한계는 무엇인가?

주요 결과

• Tangent는 다층 퍼셉트론 벤치마크에서 해석 오버헤드 제거 덕분에 특히 작은 모델 크기에서 Autograd를 능가한다.
• MLP 벤치마크에서 Tangent는 모든 모델 크기에서 텐서플로우와 동등하거나 略적으로 뛰어난 성능을 보이며, 거의 최적의 효율성을 입증한다.
• 조건부 논리가 포함된 단순한 반복문 벤치마크에서 Tangent는 Autograd와 텐서플로우 모두보다 빠르며, 제어 흐름이 많은 워크로드에서의 이점이 확인된다.
• 생성된 기울기 코드는 숨겨진 런타임 테이프나 메타프로그래밍 논리가 없기 때문에 완전히 검사 가능하고 디버깅이 가능하다.
• 변환된 AST에서의 대수적 간소화와 사라진 코드 제거로 의미 변화 없이 코드 복잡도를 감소시키고 성능을 향상시킬 수 있다.
• Tangent는 사용자 정의 기울기 로직을 직접 삽입할 수 있도록 지원하여, 단절된 역전파나 스트레이트스루 추정기와 같은 고급 기법을 일급 언어 지원으로 제공한다.