[論文レビュー] A Hybrid Differential Evolution Approach to Designing Deep Convolutional Neural Networks for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Aug 20, 2018

Metaheuristic Optimization Algorithms Research被引用数 9

ひとこと要約

本論文では、固定された深さ制約なしに画像分類のための深層畳み込みニューラルネットワーク（CNN）アーキテクチャを自動で進化させるハイブリッド微分進化アルゴリズムであるDECNNを提案する。可変長CNNのための符号化方式を最適化し、新しい変異および交差演算子を導入するとともに、深さ最適化のための第二の交差演算子を追加することで、6つのベンチマークデータセットにおいて、12の既存手法および粒子群最適化ベースの基準（IPPSO）を上回る最先端の性能を達成した。

ABSTRACT

Convolutional Neural Networks (CNNs) have demonstrated their superiority in image classification, and evolutionary computation (EC) methods have recently been surging to automatically design the architectures of CNNs to save the tedious work of manually designing CNNs. In this paper, a new hybrid differential evolution (DE) algorithm with a newly added crossover operator is proposed to evolve the architectures of CNNs of any lengths, which is named DECNN. There are three new ideas in the proposed DECNN method. Firstly, an existing effective encoding scheme is refined to cater for variable-length CNN architectures; Secondly, the new mutation and crossover operators are developed for variable-length DE to optimise the hyperparameters of CNNs; Finally, the new second crossover is introduced to evolve the depth of the CNN architectures. The proposed algorithm is tested on six widely-used benchmark datasets and the results are compared to 12 state-of-the-art methods, which shows the proposed method is vigorously competitive to the state-of-the-art algorithms. Furthermore, the proposed method is also compared with a method using particle swarm optimisation with a similar encoding strategy named IPPSO, and the proposed DECNN outperforms IPPSO in terms of the accuracy.

研究の動機と目的

• 既存のCNNアーキテクチャ探索手法における、事前にネットワーク深さを定義する必要がある符号化戦略に起因する固定最大深さの制限を克服すること。
• 任意の深さのCNNアーキテクチャを進化させることのできる微分進化（DE）フレームワークを構築すること。
• 可変長ベクトルを扱えるように設計された、CNNのハイパーパramータ最適化に特化した新しい変異および交差演算子を設計すること。
• 親と異なる深さを持つ2つの子を生成できる第二の交差演算子を導入し、最適なアーキテクチャ深さの探索を強化すること。
• 6つの多様な画像分類ベンチマークデータセットにおいて、12の最先端手法およびPSOベースの競合手法（IPPSO）と比較して、提案手法DECNNの性能を評価すること。

提案手法

• 最大深さを事前に定義する必要がなくなるように、IPベースの符号化戦略（IPES）を最適化し、可変長のCNNアーキテクチャ表現を可能にした。
• ランダムなインデックスを選択し、親ベクトルに基づく微分変異を適用することで、可変長の候補ベクトル上で動作する新しい変異演算子を設計した。
• ランダムなインデックスと交差率を用いて、可変長ベクトル上でバイノミアル交差を実行する主な交差演算子を開発した。
• 親から異なる深さを持つ2つの子を生成できる第二の交差演算子を導入し、深さの探索を競争を通じて促進した。
• 新しい演算子を統合したハイブリッドDEフレームワーク（DECNN）を構築し、分類精度（適合度）に基づく反復的選択によってCNNアーキテクチャを進化させた。
• 各候補アーキテクチャの訓練および検証精度を用いた適合度評価を伴い、6つのベンチマークデータセット上でCNNの進化を実施した。

実験結果

リサーチクエスチョン

• RQ1 微分進化に基づく手法が、事前に最大深さを定義する必要がない状態で、可変長CNNアーキテクチャを効果的に進化させることができるか。
• RQ2 可変長ベクトル向けに設計された提案された変異および交差演算子が、CNNアーキテクチャ設計における探索性能をどのように向上させるか。
• RQ3 特に、異なる深さを持つ子を生成できる第二の交差演算子が、CNNの深さ最適化および全体的な分類精度に与える影響は何か。
• RQ4 多様な画像分類ベンチマークにおいて、DECNNは12の最先端のCNNアーキテクチャ探索手法と比較して、性能に優れているか。
• RQ5 類似した符号化戦略を有する同等の進化計算手法（IPPSO）と比較して、DECNNは分類精度および収束安定性の面で優れているか。

主な発見

• MBIおよびMRBデータセットにおいて、DECNNは全13の比較手法の中で、それぞれ1位および2位の最高分類精度を達成した。
• MRDおよびMDRBIデータセットでは、それぞれ3位および2位を記録し、複雑なデータセットに対しても優れた性能を示した。
• MBデータセットでは、DECNNの平均誤差率が1.457%であり、IPPSOの1.558%を下回った。p値0.01は、この差が統計的に有意であることを示した。
• 6つのデータセットのうち5つにおいて、DECNNの誤差率の標準偏差はIPPSOよりも常に低く、より高いロバスト性を示した。
• DECNNで進化されたCNNアーキテクチャは、初期の平均長さ約10層から、データセットの複雑さに応じて3〜5層にまで短縮された。これは、データセットの複雑さに基づく効果的な深さ最適化を示している。
• 第二の交差演算子は、子孫における深さのばらつきを可能にし、より良い深さとハイパーパramータ設定を持つアーキテクチャの選択を促進することで、性能向上に顕著な寄与をした。