[論文レビュー] You Only Derive Once (YODO): Automatic Differentiation for Efficient Sensitivity Analysis in Bayesian Networks

Rafael Ballester‐Ripoll, Manuele Leonelli|arXiv (Cornell University)|Jun 17, 2022

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

この論文では、自動微分と正確な推論を活用して、1回のパスでベイジアンネットワークのすべての感度値を計算する新規手法YODO（You Only Derive Once）を紹介する。従来の有限差分法と比較して、計算速度が数個のオーダー向上する。本手法により、最大10万パラメータを持つネットワークにおいても、効率的かつスケーラブルな感度分析が可能となり、PyTorchベースの実装は自由に利用可能である。

ABSTRACT

Sensitivity analysis measures the influence of a Bayesian network's parameters on a quantity of interest defined by the network, such as the probability of a variable taking a specific value. In particular, the so-called sensitivity value measures the quantity of interest's partial derivative with respect to the network's conditional probabilities. However, finding such values in large networks with thousands of parameters can become computationally very expensive. We propose to use automatic differentiation combined with exact inference to obtain all sensitivity values in a single pass. Our method first marginalizes the whole network once using e.g. variable elimination and then backpropagates this operation to obtain the gradient with respect to all input parameters. We demonstrate our routines by ranking all parameters by importance on a Bayesian network modeling humanitarian crises and disasters, and then show the method's efficiency by scaling it to huge networks with up to 100'000 parameters. An implementation of the methods using the popular machine learning library PyTorch is freely available.

研究の動機と目的

• 数千のパラメータを持つ大規模ベイジアンネットワークにおいて、従来の1方向感度分析手法の計算非効率性を解消すること。
• 繰り返しの推論を伴わずに、すべての感度値（出力確率に対するネットワークパラメータの偏微分）をスケーラブルかつ効率的に計算する手法を開発すること。
• モデル検証およびリスク評価を支援するため、ベイジアンネットワークにおける最も影響力のあるパラメータを迅速に特定できること。
• 既存の確率的モデリングワークフローに統合可能な、実用的でオープンソースの実装を提供すること（PyTorchを用いて）。

提案手法

• まず、ネットワーク上の結合確率分布を計算するために、正確な推論（例：変数消去）を1回実行する。
• 次に、推論プロセスの計算グラフを逆伝播することで、すべての条件付き確率パラメータに対する勾配を同時に計算する。
• 自動微分を用いて、感度関数の勾配（すなわち、関心のある出力確率に対する各ネットワークパラメータの偏微分）を計算する。
• 本手法は推論プロセスを微分可能な計算グラフとして扱い、逆伝播による効率的な勾配計算を可能にする。
• 本手法は、非ゼロの感度を持つパラメータ（感度パラメータ集合）の特定と、単調性の方向（増加／減少効果）の特定を両方サポートする。
• 実装ではPyTorchを用い、自動微分エンジンの利点を活かし、GPU加速と機械学習パイプラインへのシームレスな統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 自動微分は、高い計算効率でベイジアンネットワークの感度値を計算するために効果的に適用可能か？
• RQ2 本手法は、サイズや複雑さが異なるネットワークにおいて、従来の有限差分推定法と比較してどの程度の性能を示すか？
• RQ3 本手法は、数万のパラメータを持つ大規模ベイジアンネットワークに対しても、低い計算オーバーヘッドを維持しながらスケーリング可能か？
• RQ4 本手法は、特に実世界のリスク評価応用において、最も影響力のあるパラメータを迅速に特定可能か？
• RQ5 本手法は、多方向感度分析および許容可能な偏差計算への拡張が可能か？

主な発見

• YODOは1回の推論パスですべての感度値を計算し、大規模ネットワークでは計算時間を数時間から数秒に短縮する。
• 97,851パラメータを持つpathfinderネットワークでは、YODOは0.188秒で全感度値を計算したが、有限差分法では8,596.81秒を要した。
• 19,226パラメータを持つmunin1ネットワークでは、YODOは14.39秒で完了したが、有限差分法では113,000秒以上を要した。
• 人道的危機を想定したベイジアンネットワークにおいて、YODOは上位20の最も影響力のあるパラメータを正しく順位付けし、出力確率に及ぼす増加・減少効果を両方特定した。
• テストされた10のベンチマークネットワークすべてにおいて、YODOは有限差分法に比べて計算時間の改善が数個のオーダーにわたり一貫して見られた。
• オープンソースのPyTorchベースの実装により、既存のベイジアンネットワークツールへの効率的な統合が可能であり、将来的な多方向感度分析および許容可能な偏差分析への拡張も支援される。