[論文レビュー] Parametric Learning and Monte Carlo Optimization

David H. Wolpert, Dev Rajnarayan|arXiv (Cornell University)|Apr 10, 2007

Advanced Multi-Objective Optimization Algorithms参考文献 43被引用数 11

ひとこと要約

本稿では、モンテカルロ最適化（MCO）とパラメトリック学習（PL）の間の数学的同等性を確立し、クロスバリデーション、バギング、アクティブラーニングなどのPL技術を、新たな手法「即時サンプリング」を介してブラックボックス最適化に応用可能にする。主な貢献は、これらのPL技術が最適化性能を顕著に向上させることを示したことであり、外部スケジュールを必要としない適応的アニーリングの実現も可能である。

ABSTRACT

This paper uncovers and explores the close relationship between Monte Carlo Optimization of a parametrized integral (MCO), Parametric machine-Learning (PL), and `blackbox' or `oracle'-based optimization (BO). We make four contributions. First, we prove that MCO is mathematically identical to a broad class of PL problems. This identity potentially provides a new application domain for all broadly applicable PL techniques: MCO. Second, we introduce immediate sampling, a new version of the Probability Collectives (PC) algorithm for blackbox optimization. Immediate sampling transforms the original BO problem into an MCO problem. Accordingly, by combining these first two contributions, we can apply all PL techniques to BO. In our third contribution we validate this way of improving BO by demonstrating that cross-validation and bagging improve immediate sampling. Finally, conventional MC and MCO procedures ignore the relationship between the sample point locations and the associated values of the integrand; only the values of the integrand at those locations are considered. We demonstrate that one can exploit the sample location information using PL techniques, for example by forming a fit of the sample locations to the associated values of the integrand. This provides an additional way to apply PL techniques to improve MCO.

研究の動機と目的

• モンテカルロ最適化（MCO）とパラメトリック学習（PL）の問題の間の数学的同一性を解明・形式化すること。
• 即時サンプリングを導入し、ブラックボックス最適化をMCO問題に変換する、新しい確率的コロレクティブ（Probability Collectives）ベースの手法を提案すること。
• クロスバリデーションやバギングなどのPL技術を適用することでブラックボックス最適化性能が向上することを検証すること。
• サンプルの位置情報をMCOに活用する方法を検討し、サンプル位置から被積分関数値への表面フィッティングにより、標準的手法を上回るMCO性能の向上を図ること。

提案手法

• 本稿では、MCOが広範なパラメトリック学習問題のクラスと数学的に同等であることを証明し、PL技術をMCOに直接適用可能であることを示している。
• 即時サンプリングは、ブラックボックス最適化問題をMCOタスクに再定式化する新しいブラックボックス最適化アルゴリズムであり、PL手法の適用を可能にする。
• この手法は、重要度サンプリングを活用して積分を推定し、真の積分を最適化変数でパrameter化されたサンプルの和に置き換える。
• サンプルの位置と被積分関数値の関係を活用し、例えばベイジアン回帰を用いて表面をフィッティングすることで、MCO性能を向上させる。
• クロスバリデーションやバギングなどのPL技術を用いることで、最適化プロセスのロバスト性と収束性が向上する。
• 追加のオракル呼び出しを必要とせず、クロスバリデーションにより適応的アニーリングスケジュールを学習可能であり、固定スケジュールよりも性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ最適化は、数学的同一性によってパラメトリック学習と正式に統合可能か？
• RQ2 即時サンプリングアルゴリズムは、パラメトリック学習技術を活用することでブラックボックス最適化をどのように改善できるか？
• RQ3 追加のオラクルクエリを必要とせず、クロスバリデーションとバギングを用いてブラックボックス最適化におけるアニーリングスケジュールを適応的に設定可能か？
• RQ4 サンプル点の空間的分布をどのように活用すれば、標準的手法を上回るMCO性能を達成できるか？
• RQ5 表面フィッティングによるサンプル位置情報の統合は、標準的手法に比べてMCOのリスクを低減するか？

主な発見

• MCOとPLの間の数学的同一性により、クロスバリデーション、バギング、ブースティングなどのすべてのPL技術をブラックボックス最適化に直接適用可能である。
• クロスバリデーションとバギングを強化した即時サンプリングは、標準的な指数的アニーリングスケジュールよりも優れた最適化性能を達成する。
• クロスバリデーションを用いることで、追加のオラクル呼び出しを必要とせず、ブラックボックス最適化におけるアニーリングスケジュールを適応的に設定可能であり、収束性とロバスト性が向上する。
• MCOアルゴリズムのリスクは推定子の分散が小さくなるに従い低下し、特にガウスモデルでは推定子間の共分散が大きくなるとリスク低減が最大に達する。
• ガウス分布の場合、直交軸方向の標準偏差σ_Bが0に近づくとリスクは0に近づき、分散低減の恩恵が明確に示される。
• サンプル位置から被積分関数値への表面フィッティングをPL技術を用いて行うことで、標準的手法を上回る有効なMCO性能向上手法が得られる。