[論文レビュー] A Hybrid DE Approach to Designing CNN for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Aug 20, 2018

Neural Networks and Applications被引用数 1

ひとこと要約

本稿では、可変長の畳み込みニューラルネットワーク（CNN）アーキテクチャを自動的に進化させるために、新しいクロスオーバー演算子を備えたハイブリッド微分進化アルゴリズムであるDECNNを提案する。符号化方式を最適化し、特化した突然変異およびクロスオーバー演算子（特にネットワークの深さ最適化を目的とした第二のクロスオーバー）を導入することで、6つのベンチマークデータセットにおいて、12の既存手法および同等の粒子群最適化手法を上回る、最先端の性能を達成した。

ABSTRACT

Convolutional Neural Networks (CNNs) have demonstrated their superiority in image classification, and evolutionary computation (EC) methods have recently been surging to automatically design the architectures of CNNs to save the tedious work of manually designing CNNs. In this paper, a new hybrid differential evolution (DE) algorithm with a newly added crossover operator is proposed to evolve the architectures of CNNs of any lengths, which is named DECNN. There are three new ideas in the proposed DECNN method. Firstly, an existing effective encoding scheme is refined to cater for variable-length CNN architectures; Secondly, the new mutation and crossover operators are developed for variable-length DE to optimise the hyperparameters of CNNs; Finally, the new second crossover is introduced to evolve the depth of the CNN architectures. The proposed algorithm is tested on six widely-used benchmark datasets and the results are compared to 12 state-of-the-art methods, which shows the proposed method is vigorously competitive to the state-of-the-art algorithms. Furthermore, the proposed method is also compared with a method using particle swarm optimisation with a similar encoding strategy named IPPSO, and the proposed DECNN outperforms IPPSO in terms of the accuracy.

研究の動機と目的

• 画像分類のための効果的なCNNアーキテクチャを設計する際に要する高い人的作業負荷に対処すること。
• 進化的計算を用いて、可変的な深さとアーキテクチャを持つCNNの自動進化を可能にすること。
• 新たな微分進化演算子を用いて、CNNハイパーパrameterの最適化性能を向上させること。
• 自動アーキテクチャ探索を用いて、既存の最先端手法を上回る画像分類精度を達成すること。

提案手法

• 可変長のCNNアーキテクチャを表現するために、洗練された符号化方式を用い、進化プロセスにおける柔軟かつ効果的な表現を可能にした。
• 可変長微分進化に特化した新しい突然変異演算子を設計し、多様なCNNアーキテクチャの探索を可能にした。
• CNNハイパーパrameterの最適化における多様性と収束性を向上させるために、新しいクロスオーバー演算子を導入した。
• CNNアーキテクチャの深さを進化させるために、特に第二のクロスオーバー機構を開発した。これにより、アーキテクチャ最適化が向上した。
• 分類精度に基づくフィットネス関数を用いて、6つのベンチマークデータセット上でCNNを進化させるアルゴリズムを適用した。
• 同じ符号化戦略を用いた12の最先端手法および粒子群最適化の変種（IPPSO）と、本手法を比較した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド微分進化アルゴリズムは、画像分類のための可変長CNNアーキテクチャを効果的に進化させることができるか？
• RQ2 提案された新しいクロスオーバー演算子は、標準的なDEと比較して、CNNハイパーパrameterの最適化をどのように改善するか？
• RQ3 ネットワークの深さに焦点を当てた第二のクロスオーバー演算子は、アーキテクチャ探索におけるパフォーマンス向上にどの程度寄与するか？
• RQ4 提案されたDECNN手法は、既存の最先端の自動CNN設計手法を上回る精度を達成するか？
• RQ5 同じ符号化戦略を用いた類似の粒子群最適化手法（IPPSO）と比較して、DECNNはどの程度のパフォーマンスを示すか？

主な発見

• 提案されたDECNN手法は、6つの広く使われているベンチマークデータセットにおいて、競争力のある性能を示し、画像分類において12の最先端手法を上回った。
• 同じ符号化戦略を用いた場合、DECNNは粒子群最適化に基づく手法IPPSOよりも高い分類精度を示した。
• 第二のクロスオーバー演算子の統合は、CNNの深さ最適化を顕著に向上させ、全体的なパフォーマンス向上に寄与した。
• 洗練された符号化方式は、可変なアーキテクチャ長を持つCNNの表現と進化を成功裏にサポートした。
• 新規の突然変異およびクロスオーバー演算子は、探索と活用の両方を強化し、より効果的なCNNアーキテクチャの発見を可能にした。
• 結果から、特化した演算子を備えたハイブリッドDEは、自動CNNアーキテクチャ設計において、強固で効果的なアプローチであることが確認された。