[논문 리뷰] Automatic differentiation in machine learning: a survey

Shaikhha, Amir, Barak A. Pearlmutter|arXiv (Cornell University)|2015. 02. 20.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 843

한 줄 요약

이 종합 검토는 기계 학습에서 자동 미분(AD)에 대한 포괄적인 개요를 제공하며, 수치 미분 및 기호 미분과의 차이를 명확히 한다. AD가 전진 및 역방향 누적 방식을 통해 정확하고 효율적인 기울기 계산을 가능하게 하며, 복잡한 모델과 임의의 제어 흐름을 갖는 모델의 엔드 투 엔드 미분을 위한 핵심 도구로의 도입을 주장한다.

ABSTRACT

Derivatives, mostly in the form of gradients and Hessians, are ubiquitous in machine learning. Automatic differentiation (AD), also called algorithmic differentiation or simply "autodiff", is a family of techniques similar to but more general than backpropagation for efficiently and accurately evaluating derivatives of numeric functions expressed as computer programs. AD is a small but established field with applications in areas including computational fluid dynamics, atmospheric sciences, and engineering design optimization. Until very recently, the fields of machine learning and AD have largely been unaware of each other and, in some cases, have independently discovered each other's results. Despite its relevance, general-purpose AD has been missing from the machine learning toolbox, a situation slowly changing with its ongoing adoption under the names "dynamic computational graphs" and "differentiable programming". We survey the intersection of AD and machine learning, cover applications where AD has direct relevance, and address the main implementation techniques. By precisely defining the main differentiation techniques and their interrelationships, we aim to bring clarity to the usage of the terms "autodiff", "automatic differentiation", and "symbolic differentiation" as these are encountered more and more in machine learning settings.

연구 동기 및 목표

• 기계 학습 맥락에서 자동, 수치 및 기호 미분 간의 개념적 및 기술적 차이를 명확히 하는 것.
• 복잡한 제어 흐름과 큰 파라미터 공간을 갖는 모델에서 자동 미분을 통해 정확하고 효율적인 기울기 계산이 어떻게 가능해지는지 보여주는 것.
• 일반적인 자동 미분을 기계 학습 툴킷의 핵심에 통합하여, 수작업 또는 특수 목적의 도함수 계산 방식을 대체할 것을 주장하는 것.
• 기계 학습 및 자동 미분 공동체 간의 격차를 좁히기 위해 공통 문제와 상호 이점을 부각하는 것.
• 미래 연구의 주요 기회를 특정화하는 것 — 내재된 AD, 고차 도함수, AD 문헌에서 유래한 성능 최적화 기법 등.

제안 방법

• 수치 함수를 컴퓨터 프로그램으로 표현한 경우, 자동 미분의 전진 및 역방향 누적 방식을 사용하여 정확한 도함수를 계산한다.
• AD를 코드의 비표준 해석으로 설명하며, 변수에 도함수 값을 추가하고 연산자를 체인 규칙을 통해 도함수를 전파하도록 재정의한다.
• 유한 차분 기반 수치 미분과 표현식 조작 기반 기호 미분과 비교하여, AD의 정확성과 효율성에 중점을 둔다.
• 구현 기법을 검토한다: 연산자 오버로딩, 소스 코드 변환, 추상 해석 — 각각 표현력과 성능 간의 상충 관계가 다름.
• 연산자 오버로딩과 동적 계산 그래프를 사용하여 기울기 가능 프로그래밍을 가능하게 하는 현대적 AD 프레임워크인 autograd, Chainer, PyTorch를 강조한다.
• 메모리 효율적인 역방향 모드를 위한 테이프 최소화, 희소성 활용을 위한 행렬 색칠 기법, 체크포인팅 기법 등 고급 AD 기법을 논의한다.

실험 결과

연구 질문

• RQ1 기계 학습 맥락에서 자동 미분은 수치 및 기호 미분과 근본적으로 어떻게 다를까?
• RQ2 일반적인 자동 미분을 위한 핵심 구현 전략은 무엇이며, 성능 및 표현력에 어떻게 영향을 미치는가?
• RQ3 기계 학습 분야에서 자동 미분가 장기간에 걸쳐 과학 계산 분야에서 사용되어 왔음에도 불구하고 왜 여전히 활용이 부족한가?
• RQ4 초기차 도함수 및 내재된 미분을 지원하기 위해 자동 미분은 어떻게 확장될 수 있으며, 이는 초모수 최적화에 어떻게 기여하는가?
• RQ5 AD 문헌에서 유래한 성능 최적화 기법은 현대 기계 학습 모델의 훈련 효율성과 수렴 속도 향상에 어떻게 활용될 수 있는가?

주요 결과

• 자동 미분는 기계 정밀도 수준에서 정확한 도함수를 계산하며, 소수의 상수 요인의 오버헤드만을 가지므로, 유한 차분 방법보다 훨씬 정확하고 확장성이 뛰어나다.
• 역방향 모드 AD는 백프로파게이션과 수학적으로 동일하며, 수백만 개의 파라미터를 갖는 딥 네URAL 네트워크에서 효율적인 기울기 계산을 가능하게 한다.
• 연산자 오버로딩 기반 AD 프레임워크인 autograd와 PyTorch는 반복문, 조건문, 재귀를 포함한 임의의 파이썬 코드를 원활하게 기울기 가능하게 하여 기울기 가능 프로그래밍을 실현한다.
• 내재된 자동 미분을 통해 초기차 기울기 — 초모수에 대한 훈련 목표 함수의 도함수 — 를 정확하게 계산할 수 있으며, 이는 고급 최적화 및 모델 선택을 가능하게 한다.
• 희소성 활용을 위한 행렬 색칠 기법과 역방향 모드 체크포인팅 기법은 대규모 AD 응용에서 메모리 사용을 크게 줄이고 성능을 향상시킬 수 있다.
• 현대 기계 학습 프레임워크에 AD가 통합되면서, 빠른 프로토타이핑과 고차 도함수 및 복잡한 제어 흐름에 의존하는 새로운 모델의 개발이 가능해졌다.