[論文レビュー] Deep Boltzmann Machines in Estimation of Distribution Algorithms for Combinatorial Optimization

Malte Probst, Franz Rothlauf|arXiv (Cornell University)|Sep 22, 2015

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 5

ひとこと要約

本稿では、組合せ最適化問題を解くために、確率的モデルとして深層ボルツマン機械（DBM）を用いる推定分布法（EDA）であるDBM-EDAを提案する。この手法は、DBMの階層的表現学習能力を活用して複雑な依存関係をモデル化し、加法的分解可能な偽のトラップ関数においてBOAを上回る優れた性能を発揮する。特に75ビットおよび100ビットのインスタンスにおいて、条件付き独立な隠れニューロンを通じて分離可能でブロック単位のフィットネス構造を捉える能力のおかげで、優れた性能を発揮する。

ABSTRACT

Estimation of Distribution Algorithms (EDAs) require flexible probability models that can be efficiently learned and sampled. Deep Boltzmann Machines (DBMs) are generative neural networks with these desired properties. We integrate a DBM into an EDA and evaluate the performance of this system in solving combinatorial optimization problems with a single objective. We compare the results to the Bayesian Optimization Algorithm. The performance of DBM-EDA was superior to BOA for difficult additively decomposable functions, i.e., concatenated deceptive traps of higher order. For most other benchmark problems, DBM-EDA cannot clearly outperform BOA, or other neural network-based EDAs. In particular, it often yields optimal solutions for a subset of the runs (with fewer evaluations than BOA), but is unable to provide reliable convergence to the global optimum competitively. At the same time, the model building process is computationally more expensive than that of other EDAs using probabilistic models from the neural network family, such as DAE-EDA.

研究の動機と目的

• 深層ボルツマン機械（DBM）が、組合せ最適化のための推定分布法（EDA）における有効な確率的モデルとして機能できるかどうかを調査すること。
• 特に複雑で偽の性質を示す、または階層的なフィットネス構造を示す問題に対して、DBM-EDAの性能をベンチマーク問題で評価すること。
• 最新のベイジアン最適化アルゴリズム（BOA）と比較して、DBM-EDAの収束速度、解の品質、計算効率を評価すること。
• 特定の問題においてDBM-EDAが成功する理由と、他の問題で失敗する理由を、モデル学習の安定性と階層的抽象化の観点から分析すること。
• 深層生成モデルがEDAに与える可能性を評価し、学習された表現を通じて問題固有の構造的性質をどのように捉えられるかを検討すること。

提案手法

• BOAで用いられる従来のベイジアンネットワークの代わりに、推定分布法（EDA）に深層ボルツマン機械（DBM）を確率的モデルとして統合する。
• 2層の隠れ層を持つDBMアーキテクチャを採用し、意思決定変数と潜在的特徴の同時確率分布をモデル化することで、多段階の抽象化を可能にする。
• DBMの学習中に平均場近似を適用して事後分布を推定するが、これは多モード分布に対して性能を制限する可能性がある。
• 訓練済みのDBMから新しい候補解をサンプリングし、次期EDAの個体群を形成することで、多様性の維持と収束の促進を図る。
• 標準的なEDAループを採用：高フィットネス個体の選択、親個体からのモデル構築、次世代の新しい候補解のサンプリング。
• 学習された重み行列の可視化により、特にブロック単位で分離可能なフィットネス関数において、隠れニューロンが問題構造とどのように一致するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 深層ボルツマン機械は、組合せ最適化における高品質な解の確率分布を効果的にモデル化できるか？
• RQ2 連結された偽のトラップ問題のような困難な加法的分解可能な問題において、DBM-EDAは収束速度および解の品質においてBOAを上回るか？
• RQ3 理論的には適しているはずの階層的アーキテクチャを備えながらも、DBM-EDAが128ビットのHIFF問題を完全に解くことができないのはなぜか？
• RQ4 DBMの学習された表現の構造（例えば重み行列）は、特に分離可能なフィットネス関数において、元の問題構造をどの程度反映しているか？
• RQ5 DBM学習における平均場近似は、ノイズが多いEDA環境において、モデル品質および収束の信頼性をどの程度制限するか？

主な発見

• DBM-EDAは、75ビットおよび100ビットの連結5トラップ問題においてBOAを顕著に上回り、それぞれ6,752 ± 1,254および7,697 ± 843のフィットネス評価回数で最適解に到達した。これに対してBOAは192,125 ± 18,928および223,450 ± 21,500の評価回数を要した。
• 30ビットの5トラップ問題では、DBM-EDAは20回の実験のうち18回で最適解に到達し、フィットネス評価回数は3,000回にとどまった。一方BOAは500回の評価で到達したが、CPU時間ではBOAが速かった。
• 128ビットのHIFF問題は、階層的構造を有しているにもかかわらず、DBM-EDAは完全に解くことができなかった。これは、モデル学習または一般化能力に制限がある可能性を示唆している。
• DBM-EDAのモデル構築プロセスは高速であったが、深層アーキテクチャの学習に起因し、DAE-EDAなどの他のニューラルネットワークベースのEDAと比較して計算コストが高かった。
• DBMの1層目の重みの可視化から、個々の隠れニューロンが5つの連続する変数のブロックに対して強くかつ選択的に影響を与えていることが明らかになった。これは、問題の加法的かつ分離可能な構造と一致していた。
• 収束のばらつきが著しかったが、DBM-EDAはBOAよりも少ない評価回数で最適解に到達する場合があり、成功した場合には高性能な実行が可能である可能性を示している。