[論文レビュー] Autonomous Deep Learning: A Genetic DCNN Designer for Image Classification

Benteng Ma, Yong Xia|arXiv (Cornell University)|Jul 1, 2018

Advanced Neural Network Applications参考文献 28被引用数 10

ひとこと要約

本論文では、洗練された遺伝的アルゴリズムを用いて、画像分類タスクに最適な深層畳み込みニューラルネットワーク（DCNN）アーキテクチャを自律的に生成する遺伝的DCNNデザイナーを提案する。ネットワーク部品を整数ベクトルとして符号化し、選択、交差、突然変異を用いて進化させることで、MNIST、Fashion-MNIST、EMNIST、CIFARデータセットの全般において、最先端のネットワークと同等またはそれ以上の性能を示すモデルが得られた。

ABSTRACT

Recent years have witnessed the breakthrough success of deep convolutional neural networks (DCNNs) in image classification and other vision applications. Although freeing users from the troublesome handcrafted feature extraction by providing a uniform feature extraction-classification framework, DCNNs still require a handcrafted design of their architectures. In this paper, we propose the genetic DCNN designer, an autonomous learning algorithm can generate a DCNN architecture automatically based on the data available for a specific image classification problem. We first partition a DCNN into multiple stacked meta convolutional blocks and fully connected blocks, each containing the operations of convolution, pooling, fully connection, batch normalization, activation and drop out, and thus convert the architecture into an integer vector. Then, we use refined evolutionary operations, including selection, mutation and crossover to evolve a population of DCNN architectures. Our results on the MNIST, Fashion-MNIST, EMNISTDigit, EMNIST-Letter, CIFAR10 and CIFAR100 datasets suggest that the proposed genetic DCNN designer is able to produce automatically DCNN architectures, whose performance is comparable to, if not better than, that of stateof- the-art DCNN models

研究の動機と目的

• 画像分類タスクにおける手動で専門家が設計するDCNNアーキテクチャの必要性を排除すること。
• 最小限の人的介入で最適なネットワークアーキテクチャを生成できる自律学習システムの開発。
• 従来の進化的アプローチが深さ、フィルターサイズ、活性化関数に固定制約を課えるという限界を克服すること。
• 柔軟な整数ベクトルベースの符号化方式を用いて、スケーラブルでデータ駆動型のDCNNアーキテクチャ生成を可能にすること。
• 進化的探索が手作業で設計された最先端アーキテクチャと同等または優れたモデルを生成できることを実証すること。

提案手法

• DCNNアーキテクチャは、畳み込みおよび全結合ブロックをスタックさせた構造に分解され、各ブロックには畳み込み、プーリング、バッチ正則化、活性化、ドロップアウト、全結合層などの演算が含まれる。
• 各ネットワーク構成は整数ベクトルとして符号化され、遺伝的アルゴリズムフレームワーク内での効率的な表現と操作が可能になる。
• 洗練された遺伝的アルゴリズムは、選択、交差、突然変異の操作を用いて、複数世代にわたってDCNNアーキテクチャの集団を進化させる。
• 各候補アーキテクチャの適応度は、100エポック訓練後のバリデーション精度に基づいて評価される。
• アルゴリズムは固定された集団サイズを採用し、各データセットで10世代にわたってアーキテクチャを進化させ、各世代の性能をモニタリングする。
• 最適化手法（Adam、Nadam）およびハイパーパrameterは、各データセットで最も高い性能を示したアーキテクチャに基づいて選択される。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、画像分類タスクにおいて、最先端の手作業で設計されたモデルと同等またはそれを上回る性能を示すDCNNアーキテクチャを自律的に生成できるか？
• RQ2 提示された整数ベクトル符号化方式は、複雑で高次元のアーキテクチャ空間を効果的かつ効率的に探索可能にするか？
• RQ3 固定された深さやフィルターサイズといったアーキテクチャ的制約が存在しない場合、生成されるアーキテクチャの多様性と質はどの程度向上するか？
• RQ4 異なるデータセットにおいて、遺伝的進化はどの程度の速さで高性能なアーキテクチャに収束するか？
• RQ5 本手法は、性能を犠牲にせずに、競争力のある精度を達成するのに十分なコンパクトで浅いネットワークを生成できるか？

主な発見

• CIFAR10では、遺伝的DCNNデザイナーがテスト精度89.32％を達成し、評価モデルの中でResNet（90.61％）とCapsule Net（89.40％）に次いで第3位となった。
• CIFAR100では、生成されたモデルが66.70％の精度を示し、AlexNet（60.53％）、VGGNet（64.37％）、Highway Net（67.60％）を上回り、第3位となった。
• 最も優れた性能を示したアーキテクチャは、わずか10世代で精度の安定化を示し、進化プロセスの迅速な収束を示した。
• 本手法は一貫して最先端の対応モデルよりも層数の少ないモデルを生成しており、コンパクトで効率的なアーキテクチャへの傾向がうかがえる。
• 計算コストは高く、CIFAR10とCIFAR100では、1世代あたり平均で11 GPU日を要しており、多数のアーキテクチャを評価する複雑さを反映している。
• 高い計算負荷にもかかわらず、本手法は、競争力のある結果を示しつつ、完全に自律的かつデータ駆動型のDCNNアーキテクチャ探索の実現可能性を示した。