[논문 리뷰] On the Higher-Order Derivatives of Spectral Functions: Two Special Cases

Hristo S. Sendov|ArXiv.org|2004. 04. 19.

Matrix Theory and Algorithms참고 문헌 11인용 수 3

한 줄 요약

이 논문은 대칭 행렬의 고유값에 대한 함수인 스펙트럴 함수의 고차 도함수를 계산하기 위한 통합적이고 텐서 기반의 프레임워크를 제안한다. 일반화된 하다르드 곱을 사용하여 이 프레임워크는 두 가지 주요 케이스에서 k차 도함수에 대한 명시적 공식을 유도한다: (1) 기저 함수가 k번 미분 가능하고 행렬의 고유값이 서로 다를 때이며, (2) 함수가 분리 가능하고 대칭일 때이며, 이 경우 임의의 대칭 행렬에 대해 유효하다. 주요 기여는 일반 스펙트럴 함수의 헤시안을 보다 간결하고 계산 유사한 방식으로 유도한 것으로, 이는 이전 결과를 크게 단순화한다.

ABSTRACT

In this work we use the tensorial language developed in [8] and [9] to differentiate functions of eigenvalues of symmetric matrices. We describe the formulae for the k-th derivative of such functions in two cases. The first case concerns the derivatives of the composition of an arbitrary differentiable function with the eigenvalues at a matrix with distinct eigenvalues. The second development describes the derivatives of the composition of a separable symmetric function with the eigenvalues at an arbitrary symmetric matrix. In the concluding section we re-derive the formula for the Hessian of a general spectral function at an arbitrary point. Our approach leads to a shorter, streamlined derivation than the original in [6]. The language we use, based on the generalized Hadamard product, allows us to view the differentiation of spectral functions as a routine calculus-type procedure.

연구 동기 및 목표

• 대칭 행렬의 스펙트럴 함수의 고차 도함수를 체계적이고 미적분학적인 방법으로 계산할 수 있는 방법을 개발하는 것.
• 이전의 스펙트럴 함수의 그래디언트와 헤시안 결과를 임의의 차수 k로 일반화하는 것.
• 고유값 의존성과 직교 공액을 별개의 모듈러 구성 요소로 다룰 수 있는 통합적 프레임워크를 텐서 분석과 일반화된 하다르드 곱을 기반으로 제공하는 것.
• 이전 접근 방식보다 더 짧고 투명한 방식으로 일반 스펙트럴 함수의 헤시안을 재유도하는 것.
• 특히 분리 가능하고 대칭적인 함수일 경우에 k차 도함수 공식이 단순화되는 조건을 설정하는 것.

제안 방법

• 일반화된 하다르드 곱을 기반으로 한 텐서 언어를 사용하여 스펙트럴 함수의 고차 도함수를 표현한다.
• $ f \circ \lambda $의 k차 도함수를 $ \nabla^k(f \circ \lambda)(X) = V \left( \sum_{\sigma \in P^k} \mathrm{Diag}^\sigma \mathcal{A}_\sigma(\lambda(X)) \right) V^T $로 표현하며, 여기서 $ V $ 는 $ X $ 를 대각화한다.
• $ \mathrm{Diag}^\sigma $ 와 $ \mathcal{A}_\sigma $ 를 고유값과 무관하게 $ f $ 의 편미분에 기반하여 정의한다.
• 두 가지 특수 케이스에 프레임워크를 적용한다: (1) $ f $ 가 k번 미분 가능하고 고유값이 서로 다를 때이며, (2) $ f $ 가 분리 가능하고 대칭이며 임의의 대칭 행렬에 대해 유효할 때이다.
• 블록-상수 텐서와 미분 극한을 사용하여 헤시안을 유도하며, $ \nabla f $ 와 그 도함수의 성질을 활용한다.
• $ \mathcal{A}_\sigma $ 와 그들의 변화에 대한 분석을 통해 $ f \circ \lambda $ 의 연속성과 미분 가능성 조건을 확립한다.

실험 결과

연구 질문

• RQ1 고차 도함수를 통합적이고 텐서 기반의 형식으로 체계적으로 계산할 수 있는 방법은 무엇인가?
• RQ2 $ f $ 가 k번 미분 가능하고 행렬의 고유값이 서로 다를 때, $ f \circ \lambda $ 의 k차 도함수의 구조는 어떻게 되는가?
• RQ3 $ f $ 가 분리 가능하고 대칭적인 함수일 경우, k차 도함수 공식은 어떻게 단순화되는가?
• RQ4 이 프레임워크를 사용하여 일반 스펙트럴 함수의 헤시안을 이전 방법보다 더 짧고 투명한 방식으로 재유도할 수 있는가?
• RQ5 $ f \circ \lambda $ 의 미분 가능성과 연속성을 보장하는 조건은 무엇인가? 이는 기저의 대칭 함수 $ f $ 에 대해 어떻게 기술되는가?

주요 결과

• 고유값이 서로 다른 대칭 행렬 $ X $ 에서 $ f \circ \lambda $ 의 k차 도함수는 $ V \left( \sum_{\sigma \in P^k} \mathrm{Diag}^\sigma \mathcal{A}_\sigma(\lambda(X)) \right) V^T $ 로 주어지며, 여기서 $ \mathcal{A}_\sigma $ 는 $ f $ 의 최대 차수 $ k $ 이하의 편미분에만 의존한다.
• 분리 가능하고 대칭적인 함수의 경우, 모든 $ \mathcal{A}_\sigma $ 는 순열 $ \sigma $ 에 관계없이 동일하여, k차 도함수 공식이 크게 단순화된다.
• 일반 스펙트럴 함수의 헤시안은 일반화된 하다르드 곱 형식을 사용하여 [6]보다 더 짧고 직관적인 방식으로 재유도되었다.
• 프레임워크는 $ f \circ \lambda $ 가 $ C^k $ 임과 동시에 $ f $ 가 $ C^k $ 임과 동치임을 보여주며, 텐서 기반 미분 과정에서도 미분 가능성은 유지됨을 입증한다.
• 이 방법은 고유값 의존성과 직교 공액을 별개의 구성 요소로 다루어, 도함수의 계산을 보다 정형화되고 미적분학적인 방식으로 가능하게 한다.
• 블록-상수 텐서와 미분 극한의 사용은 복잡한 대수적 변환을 피하고 헤시안을 깔끔하고 투명하게 유도할 수 있게 하였다. 이는 이전 접근 방식에 비해 상당히 단순화된 것이다.