[論文レビュー] Online variants of the cross-entropy method

István Szita, András Lörincz|ArXiv.org|Jan 14, 2008

Theoretical and Computational Physics参考文献 2被引用数 15

ひとこと要約

本稿では、組合せ最適化のためのオンライン版の交差エントロピー法（CEM）を2つ提案する。パラメータの更新は、各サンプルの後に段階的に、スライディングウインドウまたはメモリレスなアプローチを用いて行う。著者らは、弱い条件下でも最適解への確実収束を証明し、バッチ版CEMの理論的保証を、時間不変分布を仮定するオンライン設定に拡張する。

ABSTRACT

The cross-entropy method is a simple but efficient method for global optimization. In this paper we provide two online variants of the basic CEM, together with a proof of convergence.

研究の動機と目的

• 全集団が描画された後ではなく、各サンプルの後にパラメータを段階的に更新するオンライン版の交差エントロピー法を開発すること。
• バッチ版と同一の条件下で、これらのオンラインCEMアルゴリズムの理論的収束保証を確立すること。
• バッチソートとウインドウ履歴の代わりに段階的更新またはメモリレスなサンプリングを用いることで、メモリおよび計算のオーバーヘッドを低減すること。
• 各ステップで全集団の知識が欠如しているにもかかわらず、オンラインCEMが最適解への収束を維持することを示すこと。

提案手法

• 最初のオンライン版は、サイズ$N$のスライディングウインドウを用い、最後の$N$個のサンプルを保持する。エリート閾値$\gamma_{t+1}$は、ウインドウ内の$\lceil \rho N \rceil$番目に高いフィットネス値として動的に計算される。
• 各サンプルの後、そのサンプルが現在のウインドウの上位$\rho$パーセンタイルに属するかを確認する。該当する場合、ステップサイズ$\alpha_1 = \alpha / \lceil \rho N \rceil$を用いてオンライン更新を行う。
• パラメータ更新ルールは$\mathbf{p}_{t+1} = (1 - \alpha_1) \mathbf{p}_t + \alpha_1 \mathbf{x}^{(t)}$であり、エリートに該当する場合にのみ適用され、段階的適応を保証する。
• メモリレス版は、過去のサンプルを保存する必要を排除する。固定閾値更新ルールを用い、各ステップでエリート閾値を定数$\rho \Delta$だけ減少させることで、エリートサンプルの検出を確実にする。
• 理論的分析では、再帰的確率バウンドを用い、適切なステップサイズ条件下で、時刻$T$までに最適解をサンプリングしていない確率が$T$に関して指数関数的に減少することを示す。
• 収束は、パラメータ更新回数が確実に無限大であり、かつパラメータベクトルが符号を変更しなくなることを示すことにより証明される。これは、確率1で0または1に収束することを意味する。

実験結果

リサーチクエスチョン

• RQ1 バッチ版の交差エントロピー法を、収束保証を失うことなく、オンラインで段階的学習可能なフレームワークに適応できるか？
• RQ2 限られたメモリと定数時間のサンプル処理複雑度を満たすオンライン設定において、エリート閾値を動的に計算する方法は何か？
• RQ3 スライディングウインドウによる部分的過去履歴に基づく更新がなされる場合でも、オンラインCEMバージョンは確実に最適解に収束するか？
• RQ4 収束を維持しつつ、メモリ依存性を排除するために必要な変更は何か？
• RQ5 メモリレス版におけるエリート閾値の固定減少が、スライディングウインドウアプローチと比較して収束に与える影響は何か？

主な発見

• スライディングウインドウを用いたオンラインCEMは、最適解への確実収束を達成する。これは、最適解をサンプリングしていない確率が時間とともに指数関数的に減少するためである。
• メモリレスなオンラインCEMバージョンも、確実に収束する。エリート閾値が、いかなる非最適解の最小フィットネス値よりも下に低下するため、エリートサンプルが最終的に検出される。
• パラメータ更新回数は確実に無限大であり、アルゴリズムが無限に分布パラメータを精緻化し続けることを保証する。
• 各成分について、パラメータベクトル$\mathbf{p}_t$は確率1で0または1に収束する。これは、決定的解への収束を意味する。
• 収束速度はステップサイズ$\alpha_1$に依存し、$\alpha_1$が小さいほど、最適解に到達していない確率の減少が速くなる。
• 理論的枠組みは、バッチCEMの収束証明をオンライン設定に拡張し、段階的更新が、同方法のグローバル最適化特性を保持することを確立した。