[論文レビュー] Evolving Deep Convolutional Neural Networks by Variable-length Particle Swarm Optimization for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Mar 17, 2018

Advanced Neural Network Applications被引用数 11

ひとこと要約

本論文は、画像分類のための深層畳み込みニューラルネットワーク（CNN）アーキテクチャを自動的に進化させるために、改良型粒子群最適化（IPPSO）手法を提案する。新しいIPベースの符号化方式、可変長の粒子表現を可能にする無効化されたレイヤー、および部分データセット評価を導入することで、IPPSOは競争力のある精度を達成した—MDRBIデータセットではすべてのベースラインを上回り、MNISTでは2位を記録した。これは、エンドツーエンドのCNNアーキテクチャ探索において、初めてPSOに基づくアプローチである。

ABSTRACT

Convolutional neural networks (CNNs) are one of the most effective deep learning methods to solve image classification problems, but the best architecture of a CNN to solve a specific problem can be extremely complicated and hard to design. This paper focuses on utilising Particle Swarm Optimisation (PSO) to automatically search for the optimal architecture of CNNs without any manual work involved. In order to achieve the goal, three improvements are made based on traditional PSO. First, a novel encoding strategy inspired by computer networks which empowers particle vectors to easily encode CNN layers is proposed; Second, in order to allow the proposed method to learn variable-length CNN architectures, a Disabled layer is designed to hide some dimensions of the particle vector to achieve variable-length particles; Third, since the learning process on large data is slow, partial datasets are randomly picked for the evaluation to dramatically speed it up. The proposed algorithm is examined and compared with 12 existing algorithms including the state-of-art methods on three widely used image classification benchmark datasets. The experimental results show that the proposed algorithm is a strong competitor to the state-of-art algorithms in terms of classification error. This is the first work using PSO for automatically evolving the architectures of CNNs.

研究の動機と目的

• 人為的介入なしに、自動的かつ効率的かつ効果的な最適なCNNアーキテクチャを進化させるための手法を開発すること。
• 従来のPSOの固定長制約を克服し、多様なCNNアーキテクチャを対象とした可変長の粒子ベクトルを可能にすること。
• 大規模なディープラーニングにおける適合評価を高速化するため、全データセットではなくランダムに抽出された部分データセットを用いること。
• IPアドレスとサブネット構造を用いてCNNレイヤー構成を効果的に表現する、新しい符号化戦略を設計すること。
• PSOが深層ニューラルネットワークアーキテクチャの進化において実現可能性と優位性を示すことを示すこと。これは、従来、遺伝的アルゴリズムや遺伝的プログラミングが支配的であった分野である。

提案手法

• 各CNNレイヤーがIPアドレスとサブネットを備えたネットワークインターフェースとして表現されるIPベースの符号化方式を提案し、レイヤーの種別と構成の柔軟かつ拡張可能な表現を可能にする。
• 粒子長を動的に制御できる「無効化レイヤー」を導入することで、従来のPSOが固定長であるという制約を克服し、可変長のCNNアーキテクチャの進化を可能にする。
• 適合評価中に部分データセットをサンプリングする戦略を採用することで、トレーニング時間を著しく短縮しつつ、性能の傾向を検出できる能力を維持する。
• 標準的なPSO更新メカニズムを、IPベースの符号化された粒子ベクトルに適応させ、個々の最良解およびグローバル最良解に従って速度と位置の更新を行う。
• 主成分分析（PCA）を用いて精度のランドスケープとPSOの軌道を可視化し、最適化のダイナミクスと収束行動の理解を深める。
• シンプルで効果的なため、完全結合型PSOトポロジーを採用し、1回の実行あたり30個の粒子を用い、3つの標準的な画像分類ベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 粒子群最適化（PSO）は、画像分類のための深層畳み込みニューラルネットワークアーキテクチャを自動的に進化させるために、効果的に適応可能か？
• RQ2 従来のPSOの固定長制約をどのように克服することで、可変長のCNNアーキテクチャの進化を可能にするか？
• RQ3 部分データセット評価は、計算コストを著しく削減しながらも、適合評価の正確性をどの程度維持できるか？
• RQ4 提案されたIPベースの符号化方式は、ニューラルアーキテクチャ探索における進化的アルゴリズムで用いられる従来の表現手法と比較して、表現力とスケーラビリティの面で優れているか？
• RQ5 提案されたIPPSO手法は、標準的な画像分類ベンチマークにおいて、最先端のニューラルアーキテクチャ探索アルゴリズムと比較して、どの程度の性能を示すか？

主な発見

• 提案されたIPPSO手法は、MDRBIベンチマークデータセットで、比較した12のアルゴリズムすべてを上回る最も低い分類誤差率を達成した。
• MNISTデータセットでは、すべての手法の中で2位を記録し、強力な競争力のある性能を示した。
• CSベンチマークデータセットでは、比較したすべての手法の中央値を上回る性能を達成し、一貫性があり信頼性の高い結果であることを示した。
• PCAを用いた最適化ランドスケープの可視化から、多数の局所最適解が存在することが明らかになったが、PSOは迅速に高精度の解に収束した。これは、強力な耐性と効率性を示している。
• PSOの軌道は、数世代以内にグローバル最良解が見つかり、その後は改善が観察されないことを示しており、高速収束を確認した。
• 適合評価に部分データセットを用いることで、トレーニングプロセスが著しく高速化されたが、高性能なアーキテクチャの同定能力に影響を与えることなく、性能を維持した。