[논문 리뷰] Approximating the Spectral Sums of Large-scale Matrices using Chebyshev Approximations

In‐Su Han, Dmitry Malioutov외 2명|arXiv (Cornell University)|2016. 06. 03.

Neural Networks and Applications참고 문헌 39인용 수 14

한 줄 요약

이 논문은 스펙트럼 합을 근사하기 위해 확률적 체비셰프 근사와 허치슨의 추적 추정기를 조합한 선형 시간 확률적 알고리즘을 제안한다. 이 방법은 행렬-벡터 곱셈만을 요구하며, 유한한 함수 범위에서 상수 개의 행렬-벡터 곱셈으로 ε-상대 오차 보장을 달성한다. 이는 수십만 개의 차원을 가진 행렬에서 행렬식의 로그, 역행렬의 추적, 에스트라다 지수, 샤텐 p-노름, 양의 정부호성 테스트를 효율적으로 계산할 수 있도록 한다.

ABSTRACT

Computation of the trace of a matrix function plays an important role in many scientific computing applications, including applications in machine learning, computational physics (e.g., lattice quantum chromodynamics), network analysis and computational biology (e.g., protein folding), just to name a few application areas. We propose a linear-time randomized algorithm for approximating the trace of matrix functions of large symmetric matrices. Our algorithm is based on coupling function approximation using Chebyshev interpolation with stochastic trace estimators (Hutchinson's method), and as such requires only implicit access to the matrix, in the form of a function that maps a vector to the product of the matrix and the vector. We provide rigorous approximation error in terms of the extremal eigenvalue of the input matrix, and the Bernstein ellipse that corresponds to the function at hand. Based on our general scheme, we provide algorithms with provable guarantees for important matrix computations, including log-determinant, trace of matrix inverse, Estrada index, Schatten p-norm, and testing positive definiteness. We experimentally evaluate our algorithm and demonstrate its effectiveness on matrices with tens of millions dimensions.

연구 동기 및 목표

• 크기의 세제곱에 비례하는 계산 비용으로 인해 대규모 행렬에서 정확한 스펙트럼 합 계산이 불가능한 문제를 해결하기 위해.
• 행렬의 직접적 분해 없이 행렬-벡터 곱셈을 통한 암묵적 행렬 접근 방식을 요구하는 방법을 개발하기 위해.
• 함수의 성질과 행렬의 극값 고유값에 기반한 스펙트럼 합 근사에 대한 증명 가능한 오차 경계를 제공하기 위해.
• 행렬식의 로그, 역행렬의 추적, 에스트라다 지수, 샤텐 p-노름, 양의 정부호성 테스트와 같은 핵심 행렬 함수의 효율적이고 확장 가능한 계산을 가능하게 하기 위해.
• 기존 방법이 계산 비용으로 인해 실패하는 수십만 개의 차원을 가진 행렬에서의 효용성을 입증하기 위해.

제안 방법

• 알고리즘은 체비셰프 보간을 사용하여 행렬 함수 f(A)를 근사하고, 스펙트럼 합을 A의 다항식의 추적으로 변환한다.
• 이 근사와 허치슨의 스토하스틱 추적 추정기를 조합하여, 명시적인 행렬 저장 없이 랜덤 벡터를 사용해 추적을 추정한다.
• 이 방법은 오직 행렬-벡터 곱셈에 의존하므로, 대규모이거나 희소하거나 암묵적으로 정의된 행렬에 적합하다.
• 오차 경계는 함수 f와 관련된 베르슈타인 타원을 사용하여 유도되며, 근사 정확도는 함수의 해석성과 행렬의 극값 고유값에 따라 결정된다.
• 함수의 범위가 베르슈타인 타원에서 Θ(1)일 경우, ε-상대 오차를 확보하기 위해 필요한 행렬-벡터 곱셈의 수가 상수임을 보여준다.
• 이 접근은 양의 정부호성 테스트와 같은 특정 응용 분야로 확장되며, 무관심 영역 내 고유값 추정을 통해 수행된다.

실험 결과

연구 질문

• RQ1 스펙트럼 합을 근사하는 데 있어 행렬-벡터 곱셈만을 사용하고도 증명 가능한 오차 경계를 확보할 수 있는가?
• RQ2 함수의 해석성(베르슈타인 타원을 통한)과 주어진 정밀도를 확보하기 위해 필요한 행렬-벡터 곱셈의 수 사이의 이론적 관계는 무엇인가?
• RQ3 이 알고리즘은 로그-행렬식, 역행렬의 추적, 샤텐 p-노름과 같은 핵심 행렬 함수를 최소한의 계산 비용으로 어떻게 계산할 수 있는가?
• RQ4 기존 방법이 실패하는 불안정하거나 대규모 행렬에 대해 이 알고리즘이 양의 정부호성을 신뢰성 있게 테스트할 수 있는가?
• RQ5 실세계의 수십만 개의 차원을 가진 행렬에서 이 알고리즘의 경험적 성능은 어떠한가?

주요 결과

• 함수의 범위가 베르슈타인 타원에서 Θ(1)일 경우, 임의의 고정된 ε > 0과 실패 확률에 대해 상수 개의 행렬-벡터 곱셈으로 스펙트럼 합의 ε-상대 근사를 달성한다.
• 실세계의 수십만 개의 차원을 가진 행렬에 대해, 이 방법은 높은 정확도와 낮은 계산 비용으로 행렬식의 로그, 역행렬의 추적, 기타 스펙트럼 함수를 성공적으로 계산한다.
• 행렬이 너무 불안정하지 않은 경우, n=16,000인 테스트 행렬의 90%에서 양의 정부호성을 올바르게 식별한다. 이는 반복 고유값 해법이 수렴에 실패하는 경우에 비해 뛰어난 성능을 보인다.
• 행렬이 불안정한 경우에도 이 알고리즘은 정규성과 조건수에 대한 유용한 정보를 제공하지만, 콜레스키 분해는 계산이 불가능해진다.
• 이 방법은 독립적인 행렬-벡터 곱셈에 의존하므로 고도로 병렬화 가능하며, 분산 및 고성능 컴퓨팅 환경에 적합하다.
• 오하이오 대학교의 희소 행렬 컬렉션에서 얻은 행렬에 대한 경험적 결과는 이 알고리즘이 대규모 실세계 문제에서 강건하고 확장 가능하다는 것을 확인한다.