[論文レビュー] Control Functionals for Quasi-Monte Carlo Integration

Chris J. Oates, Mark Girolami|arXiv (Cornell University)|Jan 14, 2015

Probabilistic and Robust Engineering Design被引用数 7

ひとこと要約

本稿では、関数近似を活用することで、真の滑らかさパラメータ α が未知である場合や、最適収束率を達成する QMC ルールが利用できない場合でも、最適収束率を達成できるようにする制御関数形（CF）を提案する。この手法は、高次元の統計的積分において、標準 QMC よりも最大1000倍の分散低減を達成しており、計算コストの増加は最小限に抑えられる。

ABSTRACT

Quasi-Monte Carlo (QMC) methods are being adopted in statistical applications due to the increasingly challenging nature of numerical integrals that are now routinely encountered. For integrands with $d$-dimensions and derivatives of order $α$, an optimal QMC rule converges at a best-possible rate $O(N^{-α/d})$. However, in applications the value of $α$ can be unknown and/or a rate-optimal QMC rule can be unavailable. Standard practice is to employ $α_L$-optimal QMC where the lower bound $α_L \leq α$ is known, but in general this does not exploit the full power of QMC. One solution is to trade-off numerical integration with functional approximation. This strategy is explored herein and shown to be well-suited to modern statistical computation. A challenging application to robotic arm data demonstrates a substantial variance reduction in predictions for mechanical torques.

研究の動機と目的

• 真の滑らかさパラメータ α が未知である、または最適収束率を達成する QMC ルールが利用できない場合に、QMC 法の実用的制限を克服すること。
• 理論的 QMC 収束率と実際の実装との間のギャップを、QMC と関数近似を統合することで埋めること。
• α の明示的知識や最適点集合の必要性なしに、QMC 収束を加速する手法を開発すること。
• 制御関数形が高次元の被積分関数を伴う実世界の統計的問題において有効であることを示すこと。

提案手法

• 制御関数形 ψ は ∫ψ(x)dx = 0 を満たし、f − ψ の変動を低減することで、QMC 統合に適した形にする。
• QMC 評価器において元の被積分関数 f を f − ψ に置き換えることで、標準 QMC よりも高速な収束を実現する。
• 制御関数形は再生核ヒルベルト空間（RKHS）におけるカーネル法を用いて構築され、滑らかさの仮定を反映するようにカーネルが選択される。
• 設計点における関数評価とカーネル評価に基づき、線形方程式系を用いて制御関数形の係数を計算する。
• 低ディスcrepancy サンプリングには、ランダム化・スクラッチド Halton 列が使用され、Wendland カーネルがコンパクトな補間と滑らかさを保証するために適用される。
• 最悪ケース誤差は RKHS ノルムを用いて分析され、被積分関数の滑らかさとカーネルの性質に関する仮定の下で理論的収束率が導出される。

実験結果

リサーチクエスチョン

• RQ1 真の滑らかさ α が未知であっても、制御関数形を用いて最適 QMC 収束率を達成できるか？
• RQ2 滑らかさが未知または最適でない場合の実用的応用において、提案された QMC+CF 法が標準 QMC を上回るか？
• RQ3 制御関数形を組み込む際の計算コストは何か？高次元問題における分散低減に見合うものか？
• RQ4 制御関数形は、ロボット工学やベイズ推論におけるような複雑な実世界の統計的積分に効果的に適用可能か？

主な発見

• ロボットアームの応用において、QMC+CF 法は収束率 O(N⁻¹/²) を達成しており、これは理論的最適率と一致しているが、使用された QMC ルール（αL = 1）は劣化していた。
• ロボットアームの事例では、QMC+CF 評価器が標準 QMC よりも最大1000%のサンプリング標準誤差低減を達成しており、追加計算コストはほとんどない。
• 制御関数形の構築に要する追加計算時間（16×16 行列の逆行列計算）は、合計時間の3%にとどまり、総実行時間はわずか2%増加した。
• 4,449 個の異なる統合問題において、一貫した分散低減が確認され、広範な適用可能性が示された。
• 理論的分析により、α が未知であるか、標準 QMC が完全に活用できない場合でも、制御関数形が最良の可能な収束率 O(N⁻α/d) に収束を加速できることを確認した。
• このアプローチは他のカーネルベースの数値積分ルールに一般化可能であり、周辺化、モデル証拠の計算、パーティション関数の近似などの問題に適用可能である。