[論文レビュー] Bayesian Adaptive Smoothing Spline using Stochastic Differential Equations

Yue Yu, Daniel Simpson+2 more|arXiv (Cornell University)|Sep 10, 2012

Statistical Methods and Inference参考文献 31被引用数 4

ひとこと要約

本稿では、確率微分方程式を用いて連続的でデータ駆動のスムージングパラメータ関数を導出するベイジアン適応スプラインモデルを提案する。これにより、柔軟で非一様なスムージングが可能となる。この手法はマルコフ的であり、MCMCを用いた高速なベイジアン計算を可能にし、関数全体にわたる滑らかさの変化を捉える点で、従来のスプラインよりも優れている。

ABSTRACT

The smoothing spline is one of the most popular curve-fitting methods, partly because of empirical evidence supporting its effectiveness and partly because of its elegant mathematical formulation. However, there are two obstacles that restrict the use of smoothing spline in practical statistical work. Firstly, it becomes computationally prohibitive for large data sets because the number of basis functions roughly equals the sample size. Secondly, its global smoothing parameter can only provide constant amount of smoothing, which often results in poor performances when estimating inhomogeneous functions. In this work, we introduce a class of adaptive smoothing spline models that is derived by solving certain stochastic differential equations with finite element methods. The solution extends the smoothing parameter to a continuous data-driven function, which is able to capture the change of the smoothness of underlying process. The new model is Markovian, which makes Bayesian computation fast. A simulation study and real data example are presented to demonstrate the effectiveness of our method.

研究の動機と目的

• 標本サイズに比例して基底関数のサイズが増大するため、大規模データセットにおいて古典的スムージングスプラインの計算が非現実的になる問題に対処すること。
• 滑らかさが一定であると仮定するグローバルなスムージングパラメータの制限を克服し、非一様関数に対して適応的であることを実現すること。
• 確率微分方程式を用いて、適応的スムージングを実現するマルコフ的で計算効率の良いベイジアンフレームワークを構築すること。
• データ駆動のスムージングパラメータ関数を用いて、連続的かつ空間的に変化するスムージングを可能にすること。

提案手法

• スムージングパラメータが位置の関数として変化するのを支配する確率微分方程式（SDE）を解くことで、スムージングスプラインモデルを導出する。
• 有限要素法を用いてSDEを離散化し、スムージングスプラインのスパースな精度行列を持つマルコフ表現を導出する。
• スムージングパラメータ関数 λ(t) を確率過程としてモデル化することで、定義域全体にわたる局所的な滑らかさの適応性を実現する。
• 得られたモデルはマルコフ的であるため、マルコフ連鎖モンテカルロ法（MCMC）による効率的な事後分布計算が可能である。
• 精度行列 Hλ は Hλ = HΛ として構築され、H は基底構造を符号化し、Λ は λ(t) の値を対角成分に持つ対角行列であり、計算の tractability を保証する。
• 境界項の簡略化と一貫性の維持を目的として、端点における λ′(t) にノイマン境界条件を課す。

実験結果

リサーチクエスチョン

• RQ1 定義域全体にわたり連続的かつ適応的に変化するスムージングパラメータを持つスムージングスプラインモデルを構築できるか？
• RQ2 古典的スムージングスプラインの計算負荷を軽減しつつも柔軟性を維持できるか？
• RQ3 連続的でデータ駆動のスムージングパラメータを持つベイジアン定式化を、MCMC計算に適したマルコフ的構造にできるか？
• RQ4 提案手法は、非一様関数の推定において、標準的スムージングスプラインを上回る性能を示すか？

主な発見

• 提案モデルは、スムージングパラメータ λ(t) が連続的に変化することを許容することで、関数の滑らかさの局所的変化を捕捉する適応的スムージングを実現する。
• モデルのマルコフ的構造により、MCMCを用いた高速なベイジアン計算が可能となり、大規模データセットにおける古典的スプラインの計算不能性を克服する。
• シミュレーションおよび実データの両方の研究で、非一様関数の推定において、従来のスムージングスプラインを上回ることを示した。
• 精度行列 Hλ は Hλ = HΛ として導出され、Λ には knot 点における λ(t) の値が含まれ、スパarsity と計算効率性が保証される。
• ノイマン条件（λ′(t₁) = λ′(tn) = 0）の下で境界項が簡略化され、境界寄与がゼロとなり、数値的安定性が向上する。