[論文レビュー] Bayesian Inference of Log Determinants

Jack Fitzsimons, Kurt Cutajar+3 more|arXiv (Cornell University)|Apr 5, 2017

Gaussian Processes and Bayesian Inference参考文献 22被引用数 10

ひとこと要約

本論文は、行列の累乗のノイズあり確率的トレース推定値をガウス過程の観測値としてモデル化することにより、大規模なカーネル行列の対数行列式を推定するベイジアン推論フレームワークを提案する。ベイジアンクアドレーチャーを用いることで、点推定と不確実性の定量的評価を両方得られ、精度において最先端の手法を上回り、24回の試行のうち23回で真の誤差が2標準偏差の範囲内に収まる信頼性の高い不確実性推定を提供する。

ABSTRACT

The log-determinant of a kernel matrix appears in a variety of machine learning problems, ranging from determinantal point processes and generalized Markov random fields, through to the training of Gaussian processes. Exact calculation of this term is often intractable when the size of the kernel matrix exceeds a few thousand. In the spirit of probabilistic numerics, we reinterpret the problem of computing the log-determinant as a Bayesian inference problem. In particular, we combine prior knowledge in the form of bounds from matrix theory and evidence derived from stochastic trace estimation to obtain probabilistic estimates for the log-determinant and its associated uncertainty within a given computational budget. Beyond its novelty and theoretic appeal, the performance of our proposal is competitive with state-of-the-art approaches to approximating the log-determinant, while also quantifying the uncertainty due to budget-constrained evidence.

研究の動機と目的

• 大規模なカーネル行列における正確な対数行列式計算の計算的非実行可能性に対処すること。
• ノイズありの行列トレース観測値を用いて、対数行列式推定をベイジアン推論問題に再定式化すること。
• 行列理論からの理論的境界を組み込むことで、事後分布推定の精度を向上させること。
• 近似の不確実性を定量的評価し、品質指標として提供すること。
• 決定的ポイントプロセスにおける大規模なパrameter学習などの実用的有用性を示すこと。

提案手法

• 行列の固有値を、確率的トレース推定によって得られたTr(A^k)のノイズあり観測値に基づくガウス過程でモデル化する。
• 対数関数のテイラー級数展開を用いて、対数行列式を行列トレースの無限級数として表現する。
• 期待対数行列式に関する境界を事前知識として組み込み、事後分布を制約する。
• ガウス過程の事後分布を級数全体にわたって統合するためにベイジアンクアドレーチャーを適用し、対数行列式の確率的推定値を導出する。
• 制限された計算予算内で、不偏でノイズのあるTr(A^k)推定値を生成するために、確率的ランチョス積分法を用いる。
• ガウス過程モデルの予測分散を用いて、最終的な推定値の不確実性を定量的評価する。

実験結果

リサーチクエスチョン

• RQ1 対数行列式推定を不確実性の定量的評価を可能にするベイジアン推論問題として再解釈できるか？
• RQ2 対数行列式に関する理論的境界は、確率的推定の精度をどの程度向上させるか？
• RQ3 不確実性推定と真の近似誤差の間にはどの程度相関があるか？
• RQ4 この手法は、精度を凌駕しながらも不確実性を提供する既存の最先端手法を上回れるか？
• RQ5 この手法は、決定的ポイントプロセスにおけるパrameter最適化などの実用的大規模学習シナリオにおいてどの程度有効か？

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、最先端の近似技術と比較して競争力のある精度を達成した。
• 不確実性推定は非常に信頼性が高く、UFLデータセットでは24回の試行のうち23回で絶対誤差が2標準偏差の範囲内に収まった。
• この手法により、少量の行列-ベクトル積を用いても、大規模な決定的ポイントプロセスのパラメータを正確に選別でき、真の長尺度パrameterを高い信頼度で特定できた。
• 理論的境界を組み込むことで、事後推定の精度が著しく向上し、過信を軽減し、耐性を高めた。
• 本手法が提供する不確実性定量は、すべての競合手法に欠如している意味のある近似品質の指標として機能した。
• 計算予算の変動にかかわらず、本手法は優れた性能を示し、より多くの行列-ベクトル積が使用されるにつれて不確実性が予測可能に減少した。