[論文レビュー] Recombination of Artificial Neural Networks

Aaron Vose, Jacob Balma+6 more|arXiv (Cornell University)|Jan 12, 2019

Machine Learning and Data Classification参考文献 22被引用数 4

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、キャプセルネットワークなど、多様なアーキテクチャにおいて、収束を加速し最終的な精度を向上させるために、ハイパーパramータ最適化のための新しい遺伝的アルゴリズム（GA）を提案している。本手法は、PBTとGAを統合し、三親出産（二親がハイパーパramータを寄与し、一親がモデルパラメータを寄与）と染色体クロスオーバー、ハイパーパramータとパラメータの分離を導入している。

ABSTRACT

We propose a genetic algorithm (GA) for hyperparameter optimization of artificial neural networks which includes chromosomal crossover as well as a decoupling of parameters (i.e., weights and biases) from hyperparameters (e.g., learning rate, weight decay, and dropout) during sexual reproduction. Children are produced from three parents; two contributing hyperparameters and one contributing the parameters. Our version of population-based training (PBT) combines traditional gradient-based approaches such as stochastic gradient descent (SGD) with our GA to optimize both parameters and hyperparameters across SGD epochs. Our improvements over traditional PBT provide an increased speed of adaptation and a greater ability to shed deleterious genes from the population. Our methods improve final accuracy as well as time to fixed accuracy on a wide range of deep neural network architectures including convolutional neural networks, recurrent neural networks, dense neural networks, and capsule networks.

研究の動機と目的

• 深層ニューラルネットワークにおけるハイパーパラメータ最適化（HPO）の課題に対処すること。手動によるチューニングは、膨大な探索空間のため現実的ではない。
• 交差と三親出産を組み込んだ性的な生殖を導入することで、既存の集団ベーストレーニング（PBT）を改善すること。
• 有害なハイパーパラメータ設定の除去と最適な領域への迅速な適応を可能にすることで、探索の効率性と収束速度を向上させること。
• Demes（孤立したサブ集団）と倍数性（ploidy）といった生物学的由来の特徴を導入することで、ハイパーパラメータ空間のより良い探索を実現するため、PBTを包括的な遺伝的アルゴリズムに拡張すること。

提案手法

• 本手法は、ハイパーパラメータ（例：学習率、重み減衰）とモデルパラメータ（重みとバイアス）を分離し、それぞれを別個の遺伝的要素として扱う遺伝的アルゴリズムを採用している。
• 子孫は三親から生成され、二親がクロスオーバーによりハイパーパラメータを寄与し、一親が訓練済みのモデルパラメータを寄与する。
• 染色体クロスオーバーはハイパーパラメータにのみ適用され、有益な遺伝子の組み合わせの再結合を可能にすると同時に、訓練済みのネットワーク重みの整合性を保っている。
• SGD（確率的勾配降下法）と統合され、GAの世代とSGDのトレーニングエポックを並列で実行することで、トレーニング中にハイパーパラメータを動的に適応可能にしている。
• Demesは、移動が限定された孤立したサブ集団として導入され、早期収束を防ぎ、ハイパーパラメータ空間のカバー範囲を拡大している。
• 倍数性は、複数のサブネットワークが異なる親から得られる場合に、モデルパラメータの性的な生殖を可能にするが、現在の実装ではハプロイド（単倍体）のパラメータ継承を採用している。

実験結果

リサーチクエスチョン

• RQ1 三親出産とクロスオーバーを備えた遺伝的アルゴリズムは、従来のPBTと比較して、深層ニューラルネットワークにおけるハイパーパラメータ最適化を改善できるか？
• RQ2 ハイパーパラメータとモデルパラメータの分離は、ハイパーパラメータ探索の効率性と有効性にどのように影響するか？
• RQ3 Demesと移動戦略の使用は、HPOにおける探索性を高め、局所最適解への収束を低減できるか？
• RQ4 ハイパーパラメータのクロスオーバーは、多様なアーキテクチャにおいて収束速度の向上と最終的なモデル精度の向上にどの程度寄与できるか？
• RQ5 PBTと包括的な遺伝的アルゴリズムの統合により、固定精度に到達するまでの時間の短縮と、より高い最終的精度が達成できるか？

主な発見

• 提案されたGAは、畳み込み、再帰的、全結合、キャプセルネットワークを含む多様な深層ニューラルネットワークアーキテクチャにおいて、デフォルトのハイパーパラメータ設定と比較して最終的な精度を向上させた。
• 有害なハイパーパラメータセットの効果的な除去と、有益な組み合わせの再結合により、固定精度に到達するまでの時間を短縮した。
• クロスオーバーと三親出産の導入により、標準的なPBTよりも効率的なハイパーパラメータ空間の探索が可能になり、収束挙動が改善された。
• 制御された移動を伴うDemesの使用は、集団の多様性を高め、劣悪な解への早期収束のリスクを低減した。
• 勾配ベースのトレーニングと進化的探索を統合することで、特に動的ハイパーパラメータスケジューリングの文脈で、ベースラインPBTよりも優れたパフォーマンスを示した。
• アンサンブルを用いた倍数性の初期的探索は、将来的にモデルパラメータのクロスオーバーを可能にする可能性を示唆しているが、現在の実装ではパラメータをハプロイドとして扱い、再結合を行わない。