[논문 리뷰] FlexTrace: Exchangeable Randomized Trace Estimation for Matrix Functions

Madhusudan Madhavan, Alen Alexanderian외 1명|arXiv (Cornell University)|2026. 03. 05.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

FlexTrace는 f(0)=0인 연산 단조 함수에 대해 A와의 matvecs만 사용하여 tr(f(A))를 추정하는 단일 패스, 교환 가능 무작위 추정기를 도입하며, 확률적 보장을 제공하고 기존 방법보다 정확도를 향상시킵니다.

ABSTRACT

We consider the task of estimating the trace of a matrix function, ${ m tr}(f({\bf A}))$, of a large symmetric positive semi-definite matrix ${\bf A}$. This problem arises in multiple applications, including kernel methods and inverse problems. A key challenge across existing trace estimation methods is the need for matrix-vector products (matvecs) with $f({\bf A})$, which can be very expensive. In this article, we introduce a novel trace estimator, FlexTrace, an exchangeable, single-pass method that estimates ${ m tr}(f({\bf A}))$ solely using matvecs with ${\bf A}$. We consider the case where $f$ is an operator monotone matrix function with $f(0)=0$, which includes functions such as $\log(1+x)$ and $x^{1/2}$, and derive probabilistic bounds showcasing the theoretical advantages of FlexTrace. Numerical experiments across synthetic examples and application domains demonstrate that FlexTrace provides substantially more accurate estimates of the trace of $f({\bf A})$ compared to existing methods.

연구 동기 및 목표

• 큰 SPD 행렬 A에서 matvecs만 이용할 수 있을 때 tr(f(A))의 효율적 추정의 필요성 제시.
• f(A)를 형성하거나 고유값 분해를 수행하지 않는 새로운 추정기(FlexTrace) 개발.
• 추정기에 대한 이론적 확률적 보장 및 분산 분석 제공.
• 합성 및 응용 데이터에서 기존 추정 방법 대비 실험적 개선 시연.

제안 방법

• FlexTrace를 제안하며, A와의 matvecs만 사용하는 교환 가능하고 단일 패스 추정기.
• f(0)=0인 연산 단조 함수(예: log(1+x), x^{1/2})를 포함해 다룸.
• 추정기에 대한 확률적 경계 및 분산 감소 특성 도출.
• 교환 가능성을 활용해 단일 패스에서 편향되지 않거나 거의 편향되지 않는 추정을 가능하게 함.
• 합성 및 응용 도메인에서 FlexTrace를 기존 방법과 비교하는 수치 실험 제시.

실험 결과

연구 질문

• RQ1 연산 단조 함수 f에 대해 f(0)=0인 경우 A와의 matvecs만 사용해서 tr(f(A))를 정확하게 추정할 수 있는가?
• RQ2 FlexTrace의 정확도와 분산이 기존 추정기와 비교해 어떠한가?
• RQ3 FlexTrace에 대한 이론적 보장(확률적 경계)은 무엇인가?
• RQ4 합성 및 응용 데이터 세트에서의 실험 결과가 주장된 개선을 지지하는가?

주요 결과

• FlexTrace는 테스트된 시나리오에서 기존 방법에 비해 f(A)의 추정 차이가 훨씬 작게 나타났다.
• 매트vecs에 의한 단일 패스 추정을 가능하게 하는 교환 가능 무작위 샘플링에 의존한다.
• 이론적 확률적 경계가 고려된 함수 계에서 FlexTrace의 이점을 보여준다.
• 합성 사례와 응용 도메인을 다루는 수치 실험에서 대안보다 성능이 향상되었다.