[論文レビュー] Cross-Entropy method: convergence issues for extended implementation

F Dambreville|arXiv (Cornell University)|Sep 16, 2006

Probabilistic and Robust Engineering Design参考文献 5被引用数 10

ひとこと要約

本稿は、確率的最適化や弱いモデル族を用いる際の交差エントロピー（CE）法の収束不能性を調査し、収束性を向上させるために、分位数ベースの選択を目的関数値に基づく重み付きサンプリングに置き換える滑らかさのある選択スキームを提案する。ランダムテストにより、この変種がグローバル最適値の99.1%に達するなど、困難な条件下でも標準的なCEおよび期待値ベースのCEよりも安定性と正確性に優れていることが実証された。

ABSTRACT

The cross-entropy method (CE) developed by R. Rubinstein is an elegant practical principle for simulating rare events. The method approximates the probability of the rare event by means of a family of probabilistic models. The method has been extended to optimization, by considering an optimal event as a rare event. CE works rather good when dealing with deterministic function optimization. Now, it appears that two conditions are needed for a good convergence of the method. First, it is necessary to have a family of models sufficiently flexible for discriminating the optimal events. Indirectly, it appears also that the function to be optimized should be deterministic. The purpose of this paper is to consider the case of partially discriminating model family, and of stochastic functions. It will be shown on simple examples that the CE could fail when relaxing these hypotheses. Alternative improvements of the CE method are investigated and compared on random examples in order to handle this issue.

研究の動機と目的

• 確率的目的関数や閉じたモデル族でない場合に、交差エントロピー（CE）法が収束不能となる原因を特定・分析すること。
• モデル族が最適解を表現できない場合（例：最適解にディラックデルタを含まない場合）に、標準的なCE法の限界を調査すること。
• 非決定的かつ表現力が低い設定におけるCE法の収束を改善するための代替選択スキームを評価すること。
• ランダムに生成された確率的最適化問題において、基本的なCE、期待値ベースのCE、および滑らかさのある選択CEのパフォーマンスを比較すること。
• 滑らかさのある選択スキームが、確率的および表現力に乏しい最適化状況に対処する有効な代替手段であることを実証的に検証すること。

提案手法

• 目的関数値 $ v_n = V(d_n, x_n) $ に基づく重み付けによる選択を採用し、標準的な分位数ベースの選択を置き換える滑らかさのある選択スキームを提案する。
• 重み付き交差エントロピー更新式 $ h \triangleq \arg\max_h \sum_{n=1}^N R(v_n) \ln h(d_n) $ を用い、$ R(v_n) = v_n $ として、パrameter化された分布 $ h $ を更新する。
• ランダム化されたテスト環境を採用：$ d $ と $ x $ に対して100の状態を設定し、$ V(d,x) \in (0,1] $ を一様にランダムに割り当て、一様事前分布 $ p $ を使用することで、グローバル最適値の包括的評価を可能にする。
• パラメータ更新の安定化のため、$ \alpha = 0.9 $ の滑らかさのある更新ルールを実装する。
• 3つの手法を比較：(1) 分位数選択を用いた基本的CE、(2) $ K=100 $ 個のサンプルで $ \mathbb{E}[V] $ を推定する期待値ベースのCE、(3) $ R(v_n) = v_n $ を用いた滑らかさのある選択CE。
• 1イテレーションあたり $ N = 100 $ 個のサンプル、$ \rho = 10\% $、1000回の独立試行を実施し、グローバル最適値に対するパフォーマンスの平均および分散を算出する。

実験結果

リサーチクエスチョン

• RQ1 目的関数が確率的である、すなわち $ f(x) $ が確率変数である場合、古典的CEアルゴリズムは信頼性を持って収束するのか？
• RQ2 アルゴリズムで使用されるモデル族が最適解を表現できない場合（例：最適解にディラックデルタを含まない場合）、CEの収束にはどのような影響が生じるのか？
• RQ3 サンプルをその目的関数値 $ v_n $ に応じて重みづけする滑らかさのある選択スキームは、標準的な分位数選択と比較して、確率的または表現力に乏しい設定において収束性を向上させられるか？
• RQ4 期待値ベースのCEと滑らかさのある選択CEの両者を、グローバル最適値への収束という観点から、パフォーマンスおよび安定性の面で比較するとどうなるか？
• RQ5 滑らかさのある選択スキームは、モデル族の制限および確率的要因に対して耐障害性を示し、これらの条件下でも収束が保証されるのか？

主な発見

• 目的関数が確率的である場合、選択段階での期待報酬の推定が不正確になるため、標準的なCE法は信頼性の低い収束を示す。
• モデル族が最適解を表現できない場合（例：最適解にディラックデルタを含まない場合）、CE法は最適でない確率的近似に収束する。
• 目的関数値 $ v_n $ に応じてサンプルを重みづけする滑らかさのある選択スキームは、標準的なCE法と比較して収束性能を顕著に向上させる。
• 1000件のランダムテストインスタンスにおいて、滑らかさのある選択CEはグローバル最適値の平均99.1%に達し、分散は0.7%であった。これは、基本的CE（平均93.9%、分散3.7%）を上回る性能を示した。
• 期待値ベースのCE法は平均99.0%のパフォーマンスを達成し、分散は0.4%と低かったが、候補ごとに繰り返しサンプリングを必要とするため、計算コストが高かった。
• 滑らかさのある選択CE法は、期待値ベースのCE法と同等の収束速度を達成したが、計算コストを低減したため、確率的問題に対してより効率的な代替手段となった。