[論文レビュー] Optimal mixture weights in multiple importance sampling

Hera Y. He, Art B. Owen|arXiv (Cornell University)|Nov 14, 2014

Statistical Distribution Estimation and Applications参考文献 11被引用数 13

ひとこと要約

本稿では、混合重み（α）と制御変数回帰係数（β）の両方を最適化することで分散を同時に最小化する最適化された混合重要度サンプリング手法を提案する。分散がαとβに関して jointly 凸であることを証明し、凸プログラミングを用いた効率的な最適化が可能であることを示し、希少事象および特異被積分関数問題において、一様または固定混合戦略よりも高い効率性を示している。

ABSTRACT

In multiple importance sampling we combine samples from a finite list of proposal distributions. When those proposal distributions are used to create control variates, it is possible (Owen and Zhou, 2000) to bound the ratio of the resulting variance to that of the unknown best proposal distribution in our list. The minimax regret arises by taking a uniform mixture of proposals, but that is conservative when there are many components. In this paper we optimize the mixture component sampling rates to gain further efficiency. We show that the sampling variance of mixture importance sampling with control variates is jointly convex in the mixture probabilities and control variate regression coefficients. We also give a sequential importance sampling algorithm to estimate the optimal mixture from the sample data.

研究の動機と目的

• 多数の提案分布を用いる多重重要度サンプリングにおいて、一様混合サンプリングの非効率性に対処すること。
• 混合重みと制御変数係数を同時に最適化することで、モンテカルロ積分の分散を低減すること。
• サンプリング分散を最小化する最適な混合重みを求めるための凸最適化フレームワークの構築。
• バランスヒューリスティクスや層別サンプリングといった既存手法を、最適な重みをもつ制御変数を組み合わせることで改善すること。
• パイロットサンプルから最適な混合重みを推定する逐次アルゴリズムの開発により、実用的実装を可能にすること。

提案手法

• 混合重みαと制御変数係数βの関数として、制御変数を用いた混合重要度サンプリングの分散表現を、凸関数として定式化する。
• Boyd & Vandenberghe (2004) が提示した二次形式 over 線形関数の構造を活用し、分散がαとβに関して jointly 凸であることを証明する。
• パイロットサンプルから最適なαを推定する逐次的重要性サンプリングアルゴリズムを提案し、最終推定にこれらの重みを適用する。
• ロバストネスを確保し、最良の単一の提案分布と同等のレグレットバウンドを維持するため、防御的混合成分を導入する。
• αとβの両方に関して、標本平均二乗誤差を最小化するための凸最適化を適用し、計算を効率化する。
• 提案分布から導出される制御変数を統合することで、標準的な多重重要度サンプリングを上回る分散低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 多重重要度サンプリングにおける混合重みを最適化することで、一様または固定割り当て戦略を下回る分散を達成できるか？
• RQ2 制御変数を用いた混合重要度サンプリングのサンプリング分散は、混合重みと制御変数係数に関して jointly 凸か？
• RQ3 制御変数の導入が、多重重要度サンプリングにおけるレグレットバウンドと全体的な効率性に与える影響は？
• RQ4 パイロットサンプルを用いて混合重みを最適化する際の計算コストと分散低減の恩恵は？
• RQ5 本手法は、希少事象および特異被積分関数問題において、バランスヒューリスティクスや層別サンプリングといった既存手法を上回るか？

主な発見

• 制御変数を用いた混合重要度サンプリングのサンプリング分散は、混合重みαと制御変数係数βに関して jointly 凸であり、これにより効率的な最適化が可能である。
• 混合重みの最適化により、多数の提案分布の中からわずかに効果的な成分しか存在しない場合でも、顕著な分散低減が達成される。
• 特異被積分関数の例では、最適なα割り当てが、希少性が低い成分（例：i=1 のコーナーで α₁ ≈ 0.5188）に最も大きな重みを割り当てており、高分散成分への割り当ては最小限に抑えられていた。
• 希少事象の例では、最適なα法が一様サンプリングよりも分散をより効果的に低減したが、この状況では制御変数による利益はわずかにとどどまった。
• パイロットサンプルから最適なαを推定する逐次アルゴリズムは、固定または一様割り当てよりも高い効率性を達成しており、平均実行時間の観点からも、計算量の増加を上回るネット利益が得られた。
• 最適な成分が事前に不明であっても、本手法は最良の単一の提案分布と同等のレグレットバウンドを達成し、制御変数のおかげで分散バウンドから μ²/n 項を除去する。