[論文レビュー] Multifidelity Covariance Estimation via Regression on the Manifold of Symmetric Positive Definite Matrices

Aimee Maurais, Terrence Alsup+2 more|arXiv (Cornell University)|Jul 23, 2023

Morphological variations and asymmetry被引用数 5

ひとこと要約

本稿では、対称正定値（SPD）行列の多様体上での回帰問題として共分散推定を定式化する、マルチフィデリティ共分散推定器を提案する。この手法はリーマン幾何学を活用し、接空間上でのマハラノビス距離を最小化することで、構築段階から正定値性を保証する。数値実験では、高精度データのみを用いた推定と比較して平均相対誤差が最大53%低減され、既存のマルチフィデリティおよび単一フィデリティ推定器を上回る性能を示した。

ABSTRACT

We introduce a multifidelity estimator of covariance matrices formulated as the solution to a regression problem on the manifold of symmetric positive definite matrices. The estimator is positive definite by construction, and the Mahalanobis distance minimized to obtain it possesses properties enabling practical computation. We show that our manifold regression multifidelity (MRMF) covariance estimator is a maximum likelihood estimator under a certain error model on manifold tangent space. More broadly, we show that our Riemannian regression framework encompasses existing multifidelity covariance estimators constructed from control variates. We demonstrate via numerical examples that the MRMF estimator can provide significant decreases, up to one order of magnitude, in squared estimation error relative to both single-fidelity and other multifidelity covariance estimators. Furthermore, preservation of positive definiteness ensures that our estimator is compatible with downstream tasks, such as data assimilation and metric learning, in which this property is essential.

研究の動機と目的

• 高価で計算コストの高い環境下で高精度データが限られる高次元設定において、小標本の共分散推定の課題に対処すること。
• 標準的なマルチフィデリティ手法が非正定値共分散行列を生じる可能性があるという制限を克服し、対称正定値行列のリーマン幾何学的構造に推定を埋め込むこと。
• 既存の制御変数に基づくマルチフィデリティ推定器を一貫したリーマン回帰定式化の枠組みで統一すること。
• データ同化やメトリクス学習などの後続応用分野が正定値共分散行列を必要とする点を考慮し、互換性を確保すること。
• 複数の数値ベンチマークにおいて、平均相対誤差（MRE）の観点から顕著な推定精度の向上を実証すること。

提案手法

• アフィン不変リーマン幾何学を用いて、マルチフィデリティ共分散推定問題を対称正定値（SPD）行列の多様体上での回帰問題として定式化する。
• SPD多様体の接空間上でのマハラノビス距離を定義し、推定誤差を測定することで、リーマン最適化を用いた実用的な計算を可能にする。
• 高精度サンプルへの忠実度と低精度サンプルによる分散低減の両立を図る最小化問題の解として推定器を構築する。
• SPD多様体の内在的幾何構造を活用することで、後処理補正に頼らずに推定器が構築段階で正定値性を保証する。
• 接空間上での特定の誤差モデルの下で、推定器が最尤推定器と等価であることを示す理論的関連性を確立する。
• [44]から得た平均および共分散の定義を異なる幾何的構造に適応することで、他のリーマン多様体へのフレームワークの一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 小標本環境下でも正定値性を維持しながら推定誤差を低減できるマルチフィデリティ共分散推定器を構築可能か？
• RQ2 SPD多様体上での提案されたリーマン回帰フレームワークは、既存のマルチフィデリティ推定器と比較して、平均相対誤差および分散低減の観点でどのように優れているか？
• RQ3 多様体ベースのマハラノビス距離は、ベクトル空間の仮定に依存せずに、推定器の安定的かつ効率的な計算をどの程度可能にするか？
• RQ4 提案されたフレームワークは、回転行列や確率測度といったSPD行列以外のリーマン多様体に対しても一般化可能か？
• RQ5 推定器の性能に対する理論的根拠は何か、特に接空間上での最尤推定との関連性は？

主な発見

• 多様体回帰マルチフィデリティ（MRMF）推定器は、高精度データのみを用いた推定と比較して、平均相対誤差（MRE）が53%低減され、著しい精度向上を示した。
• MRMF推定器は、低精度データのみを用いた推定器と比較してMREを25%低減し、LEMF推定器と比較しても6.9%低減され、全テストシナリオで両者を上回った。
• 推定器は構築段階で正定値性を保証しており、データ同化やメトリクス学習などの後続応用分野との互換性が保証された。
• 理論的分析により、MRMF推定器がSPD多様体の接空間上での特定の誤差モデルの下で最尤推定器と等価であることが示された。
• このフレームワークは、既存の制御変数に基づくマルチフィデリティ推定器を一般化し、リーマン多様体上でのマルチフィデリティ推定の統一的アプローチを提供する。
• 数値実験により、MRMF推定器は単一フィデリティおよび他のマルチフィデリティ手法と比較して、推定誤差の二乗を最大1桁低減することが確認された。