[논문 리뷰] Chain Rules for Hessian and Higher Derivatives Made Easy by Tensor Calculus

Maciej Skórski|arXiv (Cornell University)|2019. 11. 29.

Tensor decomposition and applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 다변수 미적분학에서 헤시안과 고차 도함수의 연쇄법칙을 계산하기 위한 간소화된, 텐서 미적분 기반의 접근법을 제시한다. 행렬 대수의 번거로움을 피하기 위해 직관적인 색인 쌍화와 텐서 내적을 사용한다. 다변수 함수의 도함수를 다차원 배열(텐서)로 간주하고 좌표에 종속되지 않는 텐서 연산을 적용함으로써, 특히 재매arametrization 하에서의 헤시안과 같은 복잡한 고차 도함수를 효율적이고 간결하게 유도하고 계산할 수 있음을 보여준다. 파이썬을 사용한 SymPy 기반의 수치 예제를 통해 검증하였다.

ABSTRACT

Computing multivariate derivatives of matrix-like expressions in the compact, coordinate free fashion is very important for both theory and applied computations (e.g. optimization and machine learning). The critical components of such computations are \emph{chain and product rules} for derivatives. Although they are taught early in simple scenarios, practical applications involve high-dimensional arrays; in this context it is very hard to find easy accessible and compact explanation. This paper discusses how to relatively simply carry such derivations based on the (simplified as adapted in applied computer science) concept of tensors. Numerical examples in modern Python libraries are provided. This discussion simplifies and illustrates an earlier exposition by Manton (2012).

연구 동기 및 목표

• 다변수 함수의 헤시안과 고차 도함수의 연쇄법칙을 유도하기 위한 명확하고 간결하며 계산적으로 효율적인 방법을 제공하는 것.
• 고차원 배열에서 텐서의 차원이 맞지 않아 실패하는 기존의 행렬 기반 접근법의 한계를 극복하는 것.
• 이론적 다변수 미적분학과 최적화 및 머신러닝과 같은 응용 분야에서의 실질적 구현 간 격차를 메우는 것.
• 요소별 미분이 필요 없이 색인 쌍화와 텐서 내적을 활용한 통합적이고 접근하기 쉬운 프레임워크를 제공하는 것.
• 현대적인 파이썬 라이브러리(예: SymPy)를 사용한 수치 예제를 통해 방법의 타당성을 검증하고, 도함수의 순서가 다른 경우(예: SymPy vs. 표준 관례) 발생할 수 있는 구현 오류를 부각하는 것.

제안 방법

• 논문은 도함수를 다차원 배열(텐서)로 모델링하며, 함수의 도함수는 입력 및 출력 색인에 해당하는 차원을 갖는 텐서로 표현된다.
• 명시적인 색인 쌍화를 통한 텐서 내적을 도입한다: 텐서 간에 일치하는 색인(예: 야코비안의 성분과 目표 함수의 편도함수)은 합산을 통해 수축된다.
• 다양한 차원에서의 색인 쌍화를 허용함으로써 고차 텐서로의 행렬 곱셈의 일반화를 통해 차원 호환성을 유지한다.
• 혼합 편도함수의 대칭성(Schwarz의 정리)을 활용하여 텐서 수축에서 연산 순서를 단순화한다.
• 헤시안의 연쇄법칙은 첫 번째 도함수 $ D(f \bullet g) = Df(g) \cdot Dg $ 에 제품 법칙을 적용한 후 다시 미분하여 유도된다: $ D^2(f \circ g) = (D^2f(g) \cdot Dg \cdot Dg) + (Df(g) \cdot D^2g) $.
• SymPy의 tensorcontraction 및 tensorproduct 기능을 사용하여 수치적 검증을 수행하였으며, 특히 SymPy의 관례(도함수 차원을 먼저 배치함)에 따라 도함수 차원 순서를 정확히 다루는 데 주의를 기울였다.

실험 결과

연구 질문

• RQ1 고차원 배열에서 헤시안과 고차 도함수의 연쇄법칙을 어떻게 간결하고 좌표에 종속되지 않으며 계산적으로 효율적인 방식으로 표현할 수 있는가?
• RQ2 기존의 행렬 곱셈이 차원 불일치로 인해 실패할 경우, 어떤 텐서 연산이 두 번째 도함수의 정확하고 확장 가능한 계산을 가능하게 하는가?
• RQ3 색인 쌍화와 텐서 수축은 다변수 미적분학에서 복잡한 도함수 표현을 어떻게 단순화할 수 있는가?
• RQ4 수치적 구현에서 도함수 관례의 차이(예: SymPy vs. 표준 관례)는 연쇄법칙의 구현에 어떤 실질적 영향을 미치는가?
• RQ5 텐서 미적분은 최적화 및 머신러닝 분야에서 기존의 행렬 기반 유도 방식보다 더 직관적이고 오류가 적은 대안을 제공할 수 있는가?

주요 결과

• 합성 함수 $ f(g(y)) $ 의 헤시안은 $ \mathbf{H}(f \circ g) = \mathbf{J}g^T \cdot \mathbf{H}f(g) \cdot \mathbf{J}g + \sum_{k=1}^{n} \frac{\partial f}{\partial y^k} \cdot \mathbf{H}g^k $ 로 계산될 수 있으며, 여기서 $ \mathbf{J}g $ 는 야코비안이고 $ \mathbf{H}g^k $ 는 $ g $ 의 $ k $-번째 성분의 헤시안이다.
• 텐서 내적의 형태는 $ g $ 의 출력 차원과 $ f $ 의 입력 차원에 해당하는 색인을 쌍화함으로써 고차 도함수의 정확한 처리를 가능하게 하여 차원 불일치 문제를 피한다.
• SymPy를 사용한 수치 평가 결과, 유도된 연쇄법칙의 정확성이 확인되었으며, 주어진 재매arametrization 하에서 로젠브록 함수의 경우 대각 헤시안 행렬이 각 항목이 2와 200인 결과를 보였다.
• 요소별 미분을 피하기 위해 텐서 수축을 통한 배치 계산이 가능해져 고차원 문제에서의 계산 비용을 극복한다.
• 논문은 라이브러리 특화 관례(예: SymPy에서 도함수 차원을 먼저 배치함)를 정확히 반영하지 않으면 텐서 수축이 잘못될 수 있음을 강조한다.
• 아인슈타인 합성 표기법과 색인 쌍화를 사용함으로써 복잡한 도함수 규칙을 간결하고 해석 가능한 형태로 표현할 수 있는 자연스럽고 확장 가능한 프레임워크를 제공한다.