[논문 리뷰] Algorithmic Differentiation of Linear Algebra Functions with Application in Optimum Experimental Design (Extended Version)

Sebastian F. Walter, Lutz Lehmann|arXiv (Cornell University)|2010. 01. 11.

Control Systems and Identification참고 문헌 6인용 수 3

한 줄 요약

이 논문은 정방형 QR 분해와 대칭 고유값 분해의 고차 도함수를 위한 새로운 알고리즘 미분(AD) 알고리즘을 제시한다. 이는 전방 및 역방향 모드에서 단변수 타일러 다항식 전파(UTPM)를 사용한다. 이 방법은 선형 대수 함수를 기본 연산으로 간주하여 근접한 기계 정밀도 정확도를 달성하고 최적의 실험 설계 문제에서 효율적인 기울기 계산을 가능하게 한다.

ABSTRACT

We derive algorithms for higher order derivative computation of the rectangular $QR$ and eigenvalue decomposition of symmetric matrices with distinct eigenvalues in the forward and reverse mode of algorithmic differentiation (AD) using univariate Taylor propagation of matrices (UTPM). Linear algebra functions are regarded as elementary functions and not as algorithms. The presented algorithms are implemented in the BSD licensed AD tool exttt{ALGOPY}. Numerical tests show that the UTPM algorithms derived in this paper produce results close to machine precision accuracy. The theory developed in this paper is applied to compute the gradient of an objective function motivated from optimum experimental design: $ abla_x Φ(C(J(F(x,y))))$, where $Φ= \{λ_1 : λ_1 C\}$, $C = (J^T J)^{-1}$, $J = \frac{\dd F}{\dd y}$ and $F = F(x,y)$.

연구 동기 및 목표

• QR 및 고유값 분해와 같은 핵심 선형 대수 함수를 위한 효율적이고 고정밀도 알고리즘 미분 방법을 개발하는 것.
• 선형 대수 루틴을 AD 내에서 기본 함수로 간주하여 내부 알고리즘의 미분을 피하는 것.
• 행렬 함수를 포함하는 최적의 실험 설계 문제에서 정확한 기울기 계산을 가능하게 하는 것.
• 유래된 알고리즘을 개방 소스인 ALGOPY AD 도구에 구현하고 벤치마크를 수행하는 것.
• UTPM 기반 AD가 전통적인 선형 대수 알고리즘의 미분 방식에 비해 성능 및 메모리 효율성 측면에서 우월함을 보여주는 것.

제안 방법

• 행렬 값 함수를 이원변수 t에 대한 다항식 전개로 표현하기 위해 단변수 타일러 다항식 전파(UTPM)를 사용한다.
• 고유값이 서로 다른 정방형 QR 분해와 대칭 고유값 분해에 대해 전방 및 역방향 모드 AD 알고리즘을 유도한다.
• 상승 및 하향 전파 연산을 적용하여, 상승된 함수 표현을 통해 행렬 분해를 통한 도함수 정보 전파를 수행한다.
• 행렬 분해를 원자적 연산으로 간주하여 반복적 알고리즘의 내부를 미분할 필요 없이 처리한다.
• 이중 연결 노드를 사용하는 순차 테이프 대신 계산 그래프를 사용하여, BSD 라이선스를 받은 AD 도구인 ALGOPY에 알고리즘을 구현한다.
• 메모리 사용을 줄이고 성능을 향상시키기 위해, 고차 도함수를 효율적으로 계산하기 위해 행렬 타일러 전개를 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 알고리즘 미분을 통해 정방형 QR 분해의 고차 도함수를 효율적으로 계산할 수 있는가?
• RQ2 고유값이 서로 다른 대칭 고유값 분해의 경우, 역방향 모드 AD에서의 수반(풀백)의 구조는 어떠한가?
• RQ3 UTPM 기반 AD는 선형 대수 알고리즘의 내부를 직접 미분하는 것과 비교해 정확도 및 성능 측면에서 어떻게 다를까?
• RQ4 AD에서 선형 대수 함수를 기본 연산으로 간주하는 것이 과학 계산 응용 분야에서 더 높은 수치적 안정성과 효율성을 제공할 수 있는가?
• RQ5 UTPM 기반 AD는 최적의 실험 설계 문제에서 기울기 계산에 실질적인 영향을 미치는가?

주요 결과

• UTPM 기반 AD 알고리즘은 기호 도함수와 비교해 상대 오차 약 4.4×10⁻¹⁵로 기계 정밀도에 매우 가까운 수치 정밀도를 달성한다.
• 푸시포워드 런타임 비율(UTPM AD 대비 일반 함수 평가)은 QR 분해의 경우 약 11.79, 고유값 분해의 경우 약 11.88로 중간 수준의 오버헤드를 보인다.
• UTPS 미분 방식을 사용하는 PYADOLC와 비교해 ALGOPY 내의 UTPM 구현이 대규모 행렬에 대해 더 나은 메모리 접근성과 계산 구조 덕분에 성능 면에서 뛰어나다.
• 역방향 모드 AD에서 중간 값 저장을 피함으로써 메모리 요구량을 O(D)로 줄였으며, 분석적 도함수 공식을 활용한다.
• 이 방법은 목적 함수 Φ = (JᵀJ)⁻¹의 최대 고유값을 포함하는 최적의 실험 설계 문제에서 안정적이고 정확한 기울기 계산을 가능하게 한다.
• ALGOPY 내의 구현은 GitHub에 공개되어 있으며, 검증되고 이식 가능한 AD 알고리즘의 시험 플랫폼으로 기능한다.