[論文レビュー] A Denoising Autoencoder that Guides Stochastic Search

Alexander W. Churchill, Siddharth Sigtia+1 more|arXiv (Cornell University)|Apr 6, 2014

Metaheuristic Optimization Algorithms Research参考文献 17被引用数 6

ひとこと要約

本稿では、これまでに得られた最良のゲノタイプから非線形の変異分布を学習することで、遺伝的アルゴリズムにおける確率的探索をガイドするノイズ除去オートエンコーダー（DA）を提案する。高品質な解の減衰するメモリ上でオンラインで訓練し、ノイズを加えることで盆地のサイズを制御することで、組み合わせ最適化問題および連続最適化問題において収束を加速し、標準的な遺伝的アルゴリズムを上回り、類似した問題間での転移学習を可能にする。

ABSTRACT

An algorithm is described that adaptively learns a non-linear mutation distribution. It works by training a denoising autoencoder (DA) online at each generation of a genetic algorithm to reconstruct a slowly decaying memory of the best genotypes so far. A compressed hidden layer forces the autoencoder to learn hidden features in the training set that can be used to accelerate search on novel problems with similar structure. Its output neurons define a probability distribution that we sample from to produce offspring solutions. The algorithm outperforms a canonical genetic algorithm on several combinatorial optimisation problems, e.g. multidimensional 0/1 knapsack problem, MAXSAT, HIFF, and on parameter optimisation problems, e.g. Rastrigin and Rosenbrock functions.

研究の動機と目的

• 進化計算における探索効率を向上させるために、非線形の変異分布を適応的に学習する手法を開発すること。
• 以前に解決されたインスタンスから得た知識を保持・再利用することで、類似した最適化問題間での転移学習を可能にすること。
• ノイズ除去オートエンコーダーの表現力と遺伝的アルゴリズムを組み合わせ、複雑な問題における収束を高速化すること。
• 正則化された深層学習モデルが生物学的に妥当でかつ計算的に効率的な方法で確率的探索をガイドできるかを検討すること。
• 離散的な組み合わせ最適化問題と連続的なパrameter最適化タスクの両方、特に転移学習のシナリオを含めて、本手法の有効性を評価すること。

提案手法

• 各世代において、集団内の最良のゲノタイプを訓練データとして用いて、オンラインでオートエンコーダー（DA）を訓練する。
• DAの入力は、最良のゲノタイプのノイズを加えたバージョンであり、一般化を促進し、吸引域を広げるために確率的にノイズが加えられる。
• 隠れ層は、高品質な解に見られる構造的パターンを表す圧縮された非線形特徴を学習する。
• デコーダーの出力を、ベルヌーイ分布（バイナリ問題用）および多変量正規分布（連続問題用）の条件付き確率分布のパラメータと解釈する。
• 後続個体は、訓練済みDAの出力分布からサンプリングすることで生成され、効果的にDAを学習済みの変異演算子として利用する。
• 訓練データは、最良のゲノタイプのゆっくりと減衰するメモリであり、モデルが変化する解の空間に適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去オートエンコーダーは、進化計算における探索パフォーマンスを向上させる非線形的かつ適応的な変異分布を学習できるか？
• RQ2 ノイズ除去オートエンコーダーにおける入力ノイズのレベルが、探索空間内の吸引域のサイズと形状にどのように影響するか？
• RQ3 ある問題クラスのインスタンスを解いた際に得た知識を、同じクラスの未観測の新しいインスタンスを高速に解くために転送できるか？
• RQ4 提案手法は、離散的組み合わせ最適化問題および連続的パrameter最適化問題の両方において、標準的な遺伝的アルゴリズムを上回る性能を示すか？
• RQ5 オンライン学習を伴う深層オートエンコーダーのアーキテクチャは、同じ問題クラスに属する多様な問題インスタンスに、どの程度一般化できるか？

主な発見

• 提案手法DAGA（ノイズ除去オートエンコーダーによるガイド付きアルゴリズム）は、256ビットのHIFFおよびMAXSAT問題において、標準的な遺伝的アルゴリズムを上回り、収束が速く、解の品質も優れている。
• 多次元0/1ナップサック問題では、DAGAは標準的なGAに比べて収束速度が20%向上した。
• Rastrigin関数やRosenbrock関数といった連続的問題において、DAGAは収束速度に一貫した改善を示した。特に隠れ層が入力サイズの2.5倍の大きさの場合に顕著であった。
• 転移学習の実験では、事前学習により新しい問題インスタンスを解くために平均して30%少ない反復回数で収束した。
• 256ビットのHIFFのような複雑で構造的な問題では、低ノイズレベル（例：0.05）が最適であり、集団の多様性を保ち、早期収束を防ぐ効果があった。
• 本手法は問題タイプにかかわらず安定しており、特に連鎖性が強く非線形構造を持つ問題で性能向上が顕著に見られた。