[論文レビュー] A Neural Bayesian Estimator for Conditional Probability Densities

Michael Feindt|ArXiv.org|Feb 18, 2004

Machine Learning and Algorithms参考文献 24被引用数 78

ひとこと要約

本論文では、シミュレーションまたは履歴データから条件付き確率密度 f(t|x) を学習するニューラルベイジアン推定器を提案する。この手法は、各分位数閾値ごとに二値分類タスクを学習するフィードフォワードネットワークを用いる。Bスプラインスムージングとベイジアン正則化を適用することで、頑健で非パラメトリックな確率分布の推定が可能となり、高エネルギー物理学やファイナンスのような弱相関の強い複雑な問題におけるイベントごとの不確実性評価と最適な統計的推論を実現する。

ABSTRACT

This article describes a robust algorithm to estimate a conditional probability density f(t|x) as a non-parametric smooth regression function. It is based on a neural network and the Bayesian interpretation of the network output as a posteriori probabability. The network is trained using example events from history or simulation, which define the underlying probability density f(t,x). Once trained, the network is applied on new, unknown examples x, for which it can predict the probability distribution of the target variable t. Event-by-event knowledge of the smooth function f(t|x) can be very useful, e.g. in maximum likelihood fits or for forecasting tasks. No assumptions are necessary about the distribution, and non-Gaussian tails are accounted for automatically. Important quantities like median, mean value, left and right standard deviations, moments and expectation values of any function of t are readily derived from it. The algorithm can be considered as an event-by-event unfolding and leads to statistically optimal reconstruction. The largest benefit of the method lies in complicated problems, when the measurements x are only relatively weakly correlated to the output t. As to assure optimal generalisation features and to avoid overfitting, the networks are regularised by extended versions of weight decay. The regularisation parameters are determined during the online-learning of the network by relations obtained from Bayesian statistics. Some toy Monte Carlo tests and first real application examples from high-energy physics and econometry are discussed.

研究の動機と目的

• パラメトリックな仮定や正規性の仮定をせず、条件付き確率密度 f(t|x) を頑健で非パラメトリックに推定する手法の開発。
• 従来の回帰手法が完全な不確実性を捉えきれない、高次元の入力空間における弱相関測定の課題に対処すること。
• 入力 x に対して標的変数 t の完全な分布を推定することで、点推定にとどまらず、イベントごとのアンフォールディングを可能とすること。
• 包括的分布 f(t) を事前知識として組み込みつつ、測定精度が向上するに従いその影響を軽減できるようにすること。
• 最尤推定やオプションプライシングなどの後続タスクに適した、統計的に最適で微分可能な推定器の提供。

提案手法

• 標的変数 t の離散化された分位数に対してバックプロパゲーションを用いてフィードフォワードニューラルネットワークを訓練し、各出力ノードが t が閾値を超えるか否かの二値分類タスクを解くようにする。
• 出力値をベイジアン後確率として解釈できるように、対称的なシグモイド関数をネットワーク出力に適用し、t が各閾値を超える確率を表す。
• フィルタリングされた出力値を通る立方スプラインを用い、両端で -1 および 1 を通過するように制約を課して、累積分布関数 F(t|x) を再構築する。
• スプラインの3階微分にTikhonov型正則化を適用し、滑らかさを確保するとともに過学習を防ぐ。
• ベイジアン統計を用いて正則化パラメータを訓練中にオンラインで決定・更新し、データ駆動型の一般化制御を自動で実現する。
• 滑らかにした累積分布関数の微分として確率密度関数 f(t|x) を導出し、モーメント、分位数、メジアンを直接抽出する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな仮定なしに、ニューラルネットワークを体系的に訓練して、完全な条件付き確率密度 f(t|x) を推定できるか？
• RQ2 連続的結果に対して有効な後確率を生成するために、ベイジアン原理をどのようにニューラルネットワークに統合できるか？
• RQ3 ベイジアン的推論に基づく正則化は、高次元で弱相関のある回帰問題における一般化性能を向上させられるか？
• RQ4 この手法は、複雑な物理的または金融的システムにおける不確実性推定において、従来の回帰や分類手法をどの程度上回るか？
• RQ5 この手法は、素粒子物理学の測定や金融オプションプライシングといった実世界の応用において信頼性を持って適用可能か？

主な発見

• 本手法は、トイモンテカルロシミュレーションおよび高エネルギー物理学・ファイナンス分野の実世界応用において、完全な条件付き確率密度 f(t|x) の推定に成功した。
• 高エネルギー物理学分野では、B+およびB0中間子の寿命測定が高精度で可能となり、スペクトロスコピーを用いたB_S^{**}中間子の発見にも寄与した。
• ファイナンス分野では、ダウ・ジョーンズ指数の20年分のデータを用いた学習で、推定された10日間のパフォーマンスと真のパフォーマンスとの間に明確な相関が認められ、有意義な予測能力があることが示された。
• 株価変動の推定された条件付き密度関数により、日々の「上昇」または「下落」トレンドの不確実性を定量化でき、取引意思決定のタイミング改善に貢献した。
• 訓練範囲外の物理的に非現実的な外挿を避け、曖昧な入力でも頑健に動作した。
• 本研究から発展したNeuroBayes®の実装は、保険および銀行分野の応用で実際に導入され、実世界での実用性が確認された。