[論文レビュー] Autonomously and Simultaneously Refining Deep Neural Network Parameters by a Bi-Generative Adversarial Network Aided Genetic Algorithm

Yantao Lu, Burak Kakillioglu+1 more|arXiv (Cornell University)|Sep 24, 2018

Advanced Neural Network Applications参考文献 14被引用数 4

ひとこと要約

本論文は、離散的な候補集合に依存せずに、フィルタ数、ニューロン数、カーネルサイズ、活性化関数、正則化手法（例：ドロップアウト、バッチ正則化）などを含む複数の深層ニューラルネットワークハイパーパrameterを自律的かつ同時に最適化できるBi-Generative Adversarial Network-aided Genetic Algorithm（Bi-GAN-GA）を提案する。GANフレームワークにおける2つの競合する生成器を用いた連続的・適応的探索により、3D Shapenets（84.17%）やGAオンリーベースラインよりも高い精度（85.2%）を達成し、構造が浅いにもかかわらず効果を発揮した。

ABSTRACT

The choice of parameters, and the design of the network architecture are important factors affecting the performance of deep neural networks. Genetic Algorithms (GA) have been used before to determine parameters of a network. Yet, GAs perform a finite search over a discrete set of pre-defined candidates, and cannot, in general, generate unseen configurations. In this paper, to move from exploration to exploitation, we propose a novel and systematic method that autonomously and simultaneously optimizes multiple parameters of any deep neural network by using a GA aided by a bi-generative adversarial network (Bi-GAN). The proposed Bi-GAN allows the autonomous exploitation and choice of the number of neurons, for fully-connected layers, and number of filters, for convolutional layers, from a large range of values. Our proposed Bi-GAN involves two generators, and two different models compete and improve each other progressively with a GAN-based strategy to optimize the networks during GA evolution. Our proposed approach can be used to autonomously refine the number of convolutional layers and dense layers, number and size of kernels, and the number of neurons for the dense layers; choose the type of the activation function; and decide whether to use dropout and batch normalization or not, to improve the accuracy of different deep neural network architectures. Without loss of generality, the proposed method has been tested with the ModelNet database, and compared with the 3D Shapenets and two GA-only methods. The results show that the presented approach can simultaneously and successfully optimize multiple neural network parameters, and achieve higher accuracy even with shallower networks.

研究の動機と目的

• 深層ニューラルネットワークのアーキテクチャとハイパーパrameterを最適化する体系的で自動化された手法の不足に対処すること。
• 従来の遺伝的アルゴリズム（GA）の限界を克服すること。従来のGAは離散的で事前に定義された候補集合に依存しており、未知の構成を探索できない。
• フィルタ数、ニューロン数、カーネルサイズ、活性化関数、正則化選択（例：ドロップアウト、バッチ正則化）といった主要なネットワークパラメータの自律的・連続的な最適化を可能にすること。
• 知的な適応的ハイパーパラメータ探索を通じて、モデルの精度を向上させるとともに、ネットワークの深さを削減すること。
• アーキテクチャの再設計を必要とせず、さまざまなディープラーニングアーキテクチャに適用可能な統合フレームワークの開発。

提案手法

• 本手法は、2つの生成器と2つの識別器を備えた新規のBi-Generative Adversarial Network（Bi-GAN）を遺伝的アルゴリズム（GA）と統合し、ハイパーパラメータ空間における連続的・適応的探索を可能にする。
• Bi-GAN内の2つの生成器は、候補となるネットワーク構成（例：フィルタ数、ニューロン数）を生成し、互いに敵対的に訓練されることで、生成されるアーキテクチャの質と多様性が向上する。
• GAはネットワーク構成の集団を進化させ、適応度は検証精度に基づいて評価される。Bi-GANは、離散的な集合を超えた新たな高品質な構成を生成することで、探索の拡張を促進する。
• 本フレームワークは、畳み込み層／全結合層の数、カーネルサイズ、フィルタ数、ニューロン数、活性化関数、バッチ正則化またはドロップアウトの使用を含む、アーキテクチャ選択を自律的に行う。
• 生成器と識別器の敵対的訓練により、システムは有望な構成を特定し、GAの進化過程で繰り返し精錬することが可能になる。
• 本手法は、3D形状分類ベンチマークを用いてModelNetデータセットで評価され、3D Shapenetsおよび2つのGAオンリーベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 Bi-GANを支援とするGAフレームワークは、フィルタ数、ニューロン数、カーネルサイズ、正則化選択といった複数のDNNハイパーパラメータを自律的かつ同時に最適化できるか？
• RQ2 本手法は、離散的で事前に定義されたハイパーパラメータ集合に依存する従来のGAオンリーベースラインと比較して、精度と収束性において優れているか？
• RQ3 Bi-GANフレームワークは、事前に定義された候補値に制約されない、新たな高パフォーマンスなネットワークアーキテクチャを生成できるか？
• RQ4 本手法は、手作業で設計されたモデル（例：3D Shapenets）よりも高い精度を達成できるか、かつ層数を減らして実現できるか？
• RQ5 GA部の異なる集団サイズ（5, 10, 20）において、本手法の性能はどのように変化するか？

主な発見

• 提案手法のBi-GAN-GAは、ModelNetデータセットで85.2%のテスト精度を達成し、3D Shapenets（84.17%）およびすべてのGAオンリーベースラインを上回った。
• 本手法は、すべてのテスト設定において、小規模候補セットGA（82.94%）および大規模候補セットGA（36.41%）を上回る精度を示し、優れた最適化能力を示した。
• 本手法は、フィルタ数がそれぞれ80、105、202の3層畳み込み層アーキテクチャを発見し、4層畳み込み層を有するShapenetsモデルを上回る精度を達成した。
• 最大5層の畳み込み層を許容した場合、86.62%の精度に到達した。これはスケーラビリティとより深いアーキテクチャへの潜在的応用を示している。
• すべてのテストされた集団サイズ（5, 10, 20）において、小規模候補セットGAを一貫して上回り、図8および図9に示すように、高い精度と高速な収束性を示した。
• 最終的に選択されたアーキテクチャは、最初の全結合層に601ニューロン、2番目の全結合層に240ニューロンを有し、活性化関数としてLeaky ReLUとReLUを採用し、最終的な全結合層でドロップアウトを適用していた。これは、効果的な自動アーキテクチャ探索を示している。