[論文レビュー] FlexTrace: Exchangeable Randomized Trace Estimation for Matrix Functions

Madhusudan Madhavan, Alen Alexanderian+1 more|arXiv (Cornell University)|Mar 5, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

FlexTraceは、Aとの matvec のみを使用して、1回のパスで交換可能な乱択推定量を導入し、f(0)=0 を満たす演算子単調関数に対して tr(f(A)) を推定する。確率的保証と既存手法より高い精度を提供する。

ABSTRACT

We consider the task of estimating the trace of a matrix function, ${\rm tr}(f({\bf A}))$, of a large symmetric positive semi-definite matrix ${\bf A}$. This problem arises in multiple applications, including kernel methods and inverse problems. A key challenge across existing trace estimation methods is the need for matrix-vector products (matvecs) with $f({\bf A})$, which can be very expensive. In this article, we introduce a novel trace estimator, FlexTrace, an exchangeable, single-pass method that estimates ${\rm tr}(f({\bf A}))$ solely using matvecs with ${\bf A}$. We consider the case where $f$ is an operator monotone matrix function with $f(0)=0$, which includes functions such as $\log(1+x)$ and $x^{1/2}$, and derive probabilistic bounds showcasing the theoretical advantages of FlexTrace. Numerical experiments across synthetic examples and application domains demonstrate that FlexTrace provides substantially more accurate estimates of the trace of $f({\bf A})$ compared to existing methods.

研究の動機と目的

• 大規模な SPD 行列 A に対して matvec のみが利用可能な場合に tr(f(A)) の効率的な推定を動機付ける。
• f(A) を形成したり固有分解を行わずに、新しい推定量（FlexTrace）を開発する。
• 推定量に対する理論的な確率的保証と分散分析を提供する。
• 合成データおよび適用データセットの両方で、既存のトレース推定手法に対する経験的改善を示す。

提案手法

• FlexTrace を提案する。これは A との matvec のみを使用する交換可能な単一パスのトレース推定量。
• f(0)=0 を満たす演算子単調関数に取り組み、log(1+x) や x^{1/2} を含む。
• 推定量の確率的境界と分散削減特性を導出する。
• 交換可能性を活用して、単一パスで偏りなく、高い精度に近い推定を実現する。
• 合成データおよび適用領域で、FlexTrace を既存手法と比較する数値実験を提示する。

実験結果

リサーチクエスチョン

• RQ1 f(0)=0 を満たす演算子単調関数に対して matvec のみで tr(f(A)) を正確に推定できるか。
• RQ2 FlexTrace の精度と分散が既存のトレース推定量と比較してどうか。
• RQ3 FlexTrace の理論的保証（確率的境界）は何か。
• RQ4 合成データセットと適用データセットで経験的結果は改善を支持するか。

主な発見

• FlexTrace は、検討したシナリオで既存手法と比較して f(A) のトレース推定を大幅に高精度に提供する。
• 本手法は交換可能な乱択サンプリングに基づき、A との matvec から単一パス推定を可能にする。
• 理論的な確率的境界は、検討した関数クラスの下で FlexTrace の利点を示す。
• 数値実験は合成ケースと適用領域の両方を網羅し、代替手法より性能の改善を示す。