[論文レビュー] Particle Swarm Optimisation for Evolving Deep Neural Networks for Image Classification by Evolving and Stacking Transferable Blocks

Bin Wang, Bing Xue+1 more|arXiv (Cornell University)|Jul 29, 2019

Advanced Neural Network Applications参考文献 34被引用数 6

ひとこと要約

本稿では、CIFAR-10の小さなサブセットから1つの移譲可能な畳み込みニューラルネットワーク（CNN）ブロックを進化させ、それを積み重ねて深層CNNを構築する、効率的な粒子群最適化（PSO）手法であるEPSOCNNを提案する。DenseNetアーキテクチャの知識を活用して探索空間を最小限に抑え、トランスファー学習を活用することで、10台のGPUで9時間のトレーニングで最先端の精度を達成した。また、得られたブロックはCIFAR-100やSVHNといった関連するが異なるデータセットに対しても良好な一般化性能を示した。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have been widely used in image classification tasks, but the process of designing CNN architectures is very complex, so Neural Architecture Search (NAS), automatically searching for optimal CNN architectures, has attracted more and more research interests. However, the computational cost of NAS is often too high to apply NAS on real-life applications. In this paper, an efficient particle swarm optimisation method named EPSOCNN is proposed to evolve CNN architectures inspired by the idea of transfer learning. EPSOCNN successfully reduces the computation cost by minimising the search space to a single block and utilising a small subset of the training set to evaluate CNNs during evolutionary process. Meanwhile, EPSOCNN also keeps very competitive classification accuracy by stacking the evolved block multiple times to fit the whole dataset. The proposed EPSOCNN algorithm is evaluated on CIFAR-10 dataset and compared with 13 peer competitors comprised of deep CNNs crafted by hand, learned by reinforcement learning methods and evolved by evolutionary computation approaches, which shows very promising results by outperforming all of the peer competitors with regard to the classification accuracy, number of parameters and the computational cost.

研究の動機と目的

• 画像分類のためのニューラルアーキテクチャ探索（NAS）の計算コストを削減しつつ、高い分類精度を維持すること。
• 小さなトレーニングサブセットから1つの再利用可能なCNNブロックを進化させることで、トランスファー学習を活用すること。
• 再トレーニングを繰り返さずに、進化したブロックを段階的に積み重ねることでモデル容量を拡大すること。
• CIFAR-100やSVHNといった関連するが異なるデータセットに対して、進化したブロックの移譲性を評価すること。
• 人間が設計したアーキテクチャの知識（例：DenseNet）が、効率的な進化的探索のための探索空間の制約に効果的に活用できるかどうかを示すこと。

提案手法

• 手作業で設計されたCNNの知識を活用し、DenseNetブロックのハイパーパrameter（層の数と成長率）のみを符号化することで、探索空間を最小限に制限する。
• 粒子群最適化（PSO）を用いてDenseNetブロックのハイパーパrameterを進化させ、適応度はCIFAR-10トレーニングデータの10%サブセット上で評価する。
• 小規模なトレーニングサブセットからのバイアスを軽減し、収束安定性を向上させるために、PSO中にはAdam最適化を適用する。
• 進化が終了した後、最良のブロックを3回スタックして、フルサイズのCIFAR-10データセットに適合可能なより深いネットワークを構築する。
• 最終モデルは、学習率スケジューリング戦略を用いたSGDを用いてファインチューニングされ、テスト精度を向上させる。
• 進化したブロックはNASプロセスを再実行せずにCIFAR-100およびSVHNに移譲可能であり、移譲性が実証された。

実験結果

リサーチクエスチョン

• RQ1 小さなサブセットでトレーニングされた1つの進化したCNNブロックは、フルスケールの画像分類タスクに十分に一般化できるか？
• RQ2 1つの移譲可能なブロックに制限した探索空間を最小化することで、計算コストを著しく削減しつつ、精度を損なわないか？
• RQ3 進化したブロックを複数回スタックすることで、モデル容量を効果的に拡大できるか、かつ性能を維持できるか？
• RQ4 本手法が、手作業設計、強化学習ベース、遺伝的計算ベースの競合手法と比較して、精度、モデルサイズ、探索コストの観点でどのように差をつけるか？
• RQ5 CIFAR-10で進化させたブロックは、CIFAR-100やSVHNといった他のデータセットへどの程度移譲可能で、競争力のある性能を発揮できるか？

主な発見

• EPSOCNNはCIFAR-10で4.47%のテスト誤差率を達成し、手作業設計、強化学習ベース、遺伝的計算ベースの13の競合手法を上回った。
• 最終アーキテクチャを進化させるために10台のGPUで9時間のトレーニングしか必要としなかったため、従来のNAS手法と比較して著しく計算コストを削減した。
• 進化したブロックはCIFAR-100で20.81%、SVHNで5.83%のテスト誤差率を達成し、両方のデータセットですべての競合手法を上回った。
• 3つのスタックされた進化ブロックから構成される最終モデルは、異なるデータセット間で優れた一般化性能と頑健性を示した。
• PSOアルゴリズムは急速に収束し、12世代目には安定した性能に達した。これは、効果的な探索と早期収束の回避を示している。
• スチューデントt検定により、EPSOCNNとすべての競合手法との間で性能差に統計的有意性が確認され、結果の信頼性が裏付けられた。