[논문 리뷰] Differentiation of the Cholesky decomposition

Iain Murray|arXiv (Cornell University)|2016. 02. 24.

Parallel Computing and Optimization Techniques참고 문헌 11인용 수 21

한 줄 요약

이 논문은 레벨 3 BLAS 연산을 사용하는 블록화된 알고리즘을 도입하여 콜레스키 분해의 미분을 매우 효율적으로 수행하며, 기존 방법 대비 최대 10배의 속도 향상을 달성한다. 소행렬에 대해서는 기호적 도함수를, 대형 행렬에 대해서는 LAPACK의 DPOTRF 기반 알고리즘적 업데이트를 결합하여 기계학습 및 최적화 분야에서 빠른 전진 및 역방향 자동 미분을 가능하게 한다.

ABSTRACT

We review strategies for differentiating matrix-based computations, and derive symbolic and algorithmic update rules for differentiating expressions containing the Cholesky decomposition. We recommend new `blocked' algorithms, based on differentiating the Cholesky algorithm DPOTRF in the LAPACK library, which uses `Level 3' matrix-matrix operations from BLAS, and so is cache-friendly and easy to parallelize. For large matrices, the resulting algorithms are the fastest way to compute Cholesky derivatives, and are an order of magnitude faster than the algorithms in common usage. In some computing environments, symbolically-derived updates are faster for small matrices than those based on differentiating Cholesky algorithms. The symbolic and algorithmic approaches can be combined to get the best of both worlds.

연구 동기 및 목표

• 다양한 통계 및 기계학습 모델에서 핵심적인 역할을 하는 콜레스키 분해의 더 빠르고 확장 가능한 미분 방법을 개발하기 위해.
• 레벨 2 BLAS에 의존하는 기존 알고리즘적 접근 방식(예: Smith, 1995)이 대규모 행렬에 대해 느리다는 문제를 해결하기 위해.
• 작은 행렬에 대해서는 기호적 도함수를, 큰 행렬에 대해서는 알고리즘적 업데이트를 조합하여 다양한 행렬 크기에서 최적의 성능을 달성하기 위해.
• 현재 콜레스키 도함수에 대한 내장 지원이 없는 현대 기계학습 프레임워크에서 효율적인 전진 및 역방향 자동 미분을 가능하게 하기 위해.
• 차별화 가능한 프로그래밍에서 성능과 사용성을 향상시키기 위해 표준 선형 대수 라이브러리에 도함수 최적화 루틴을 통합할 것을 주장하기 위해.

제안 방법

• 행렬 미적분을 사용하여 콜레스키 도함수의 기호적 업데이트 규칙을 유도하여, 입력 행렬의 변형에 대한 콜레스키 인자에 대한 민감도에 대한 정확한 표현을 제공한다.
• LAPACK의 DPOTRF 기반으로 블록화된 알고리즘을 제안하며, 레벨 3 BLAS 연산(예: 행렬-행렬 곱셈)을 사용하여 캐시 효율성과 병렬 처리를 향상시킨다.
• 전진 및 역방향 미분 루틴을 설계하여, 전체 $O(N^4)$ 자코비안을 명시적으로 계산하지 않고도 콜레스키 분해를 통해 민감도를 전파한다.
• 행렬의 블록 분할을 통해 계산을 구조화하여, 행렬 곱의 필요 최소한의 삼각형 부분만 업데이트하도록 하여 불필요한 계산을 최소화한다.
• 작은 행렬에 대해서는 기호적 업데이트를, 큰 행렬에 대해서는 알고리즘적 업데이트를 조합하여 두 접근 방식의 장점을 유기적으로 활용한다.
• 표준 BLAS 기본 연산을 사용한 효율적인 구현을 제공하며, 작은 삼각형 블록을 업데이트하기 위한 보조 루틴을 포함하고, 전진 및 역방향 미분 모드를 모두 지원한다.

실험 결과

연구 질문

• RQ1 기존 알고리즘적 접근 방식(예: Smith, 1995)보다 콜레스키 분해를 더 효율적으로 어떻게 미분할 수 있는가?
• RQ2 레벨 2 접근 방식에 비해, 블록화되고 레벨 3 BLAS 기반 알고리즘을 사용한 콜레스키 도함수 계산의 성능 영향은 어떠한가?
• RQ3 작은 행렬 크기에서 효과적으로 기능하는 기호적 도함수와 알고리즘적 업데이트를 조합하여 다양한 행렬 크기에서 최적의 성능를 달성할 수 있는가?
• RQ4 기존 자동 미분 도구들인 Theano와 TensorFlow는 왜 콜레스키 분해를 효율적으로 미분하지 못하며, 이를 어떻게 보완할 수 있는가?
• RQ5 선형 대수 라이브러리에 어떤 변화가 가해져야 콜레스키 분해와 같은 행렬 함수의 내장형 고성능 미분이 가능해지는가?

주요 결과

• 레벨 3 BLAS 연산을 사용하는 제안된 블록화 알고리즘은 대규모 행렬에 대해 널리 사용되는 Smith(1995) 알고리즘보다 최대 10배 빠르다.
• 작은 행렬에 대해서는 기호적 도함수 업데이트가 알고리즘적 업데이트보다 더 빠르며, 이에 따라 해당 영역에서 선호된다.
• 작은 행렬에 대한 기호적 업데이트와 큰 행렬에 대한 블록화된 알고리즘적 업데이트의 조합이 다양한 행렬 크기에서 최적의 전체 성능를 달성한다.
• 이 연구에서 유도된 전진 및 역방향 미분 루틴은 계산적으로 효율적이며, 몇 줄의 코드로도 구현이 가능하다.
• Theano, AutoGrad, 그리고 TensorFlow의 초기 버전과 같은 기존 자동 미분 프레임워크는 효율적인 콜레스키 분해의 도함수를 내장으로 지원하지 않아, 이를 필요로 하는 모델에서 성능이 제한된다.
• 삼각형 및 부분 행렬 연산을 위한 표준화된 도함수 최적화 BLAS 유사 루틴의 부재가 성능에 악영향을 미치며, 향후 라이브러리는 이러한 격차를 메워야 한다.