[論文レビュー] Evolving Deep Neural Networks by Multi-objective Particle Swarm Optimization for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Neural Network Applications参考文献 22被引用数 4

ひとこと要約

本稿では、分類精度と浮動小数点演算数（FLOPs）を同時に最適化することで、性能と効率のバランスを取る、深層畳み込みニューラルネットワーク（CNN）を進化させる多目的粒子群最適化フレームワークMOCNNを提案する。DenseNetに基づくアーキテクチャのための新しい符号化戦略を導入し、OMOPSOを用いてPareto最適解の探索を実施。また、近線形のスループット向上を実現する分散GPUインfra構築により、CIFAR-10で95.51%の精度を達成。これはDenseNet-121を上回りつつ、計算コストを低減している。

ABSTRACT

In recent years, convolutional neural networks (CNNs) have become deeper in order to achieve better classification accuracy in image classification. However, it is difficult to deploy the state-of-the-art deep CNNs for industrial use due to the difficulty of manually fine-tuning the hyperparameters and the trade-off between classification accuracy and computational cost. This paper proposes a novel multi-objective optimization method for evolving state-of-the-art deep CNNs in real-life applications, which automatically evolves the non-dominant solutions at the Pareto front. Three major contributions are made: Firstly, a new encoding strategy is designed to encode one of the best state-of-the-art CNNs; With the classification accuracy and the number of floating point operations as the two objectives, a multi-objective particle swarm optimization method is developed to evolve the non-dominant solutions; Last but not least, a new infrastructure is designed to boost the experiments by concurrently running the experiments on multiple GPUs across multiple machines, and a Python library is developed and released to manage the infrastructure. The experimental results demonstrate that the non-dominant solutions found by the proposed algorithm form a clear Pareto front, and the proposed infrastructure is able to almost linearly reduce the running time.

研究の動機と目的

• 高いハイパーパrameterチューニングの複雑さと、精度と推論遅延のトレードオフにより、産業応用における最先端の深層CNNの導入を困難にする課題に対処する。
• 実世界の展開を念頭に、分類精度を向上させるとともに、FLOPs（推論遅延の代理指標）として測定される計算コストを低減する多目的最適化手法を開発する。
• 複数のGPUを複数のマシンに分散して活用する効率的でスケーラブルなインfraを設計し、進化的なCNN探索のトレーニング時間を著しく短縮する。
• 産業ユーザーが自らの精度と遅延要件に応じて選択可能な、非支配的かつPareto最適なCNNアーキテクチャの集合を生成する。

提案手法

• DenseNetベースのCNNを、密度ブロック数、成長率、各ブロックあたりの層数といった主要ハイパーパrameterをパrameter化することで表現する新しい符号化戦略を設計。
• 分類精度を最大化し、FLOPs（推論遅延の代理指標）を最小化する2つの目的を持つ多目的最適化問題を定式化。
• Paretoフロントに向けた多様性と収束性を維持するため、変更を加えたOMOPSOアルゴリズムを用いてCNN構成の集団を進化。
• 複数のマシンに分散して複数のGPUを活用する分散コンピューティングインfraを実装。個々の個体の同時トレーニングと評価を管理するカスタムPythonライブラリを採用。
• 進化的プロセスでは、完全なデータセットを用いたAdamオプティマイザを用いた完全トレーニングを実施し、高い計算コストにもかかわらず信頼性の高いフィットネス評価を保証。
• 標準的なデータオーグメンテーションとトレーニングプロトコルに従い、CIFAR-10でベースラインモデル（例：DenseNet-121）と公平な比較を実施。

実験結果

リサーチクエスチョン

• RQ1 多目的粒子群最適化は、高精度と低計算コストの両立を図る深層CNNを効果的に進化させることができるか？
• RQ2 提案された符号化戦略は、DenseNetベースのアーキテクチャのハイパーパrameter空間を効率的に探索可能にするか？
• RQ3 分散GPUインfraは、解の品質を維持しつつ、進化的なCNN探索の実行時間をどの程度短縮できるか？
• RQ4 定義された探索空間内で、進化したCNNアーキテクチャは、DenseNet-121のような標準モデルを精度とFLOPsの両面で上回るか？
• RQ5 この手法は、産業用途に適した明確なParetoフロントを形成する非支配的解の多様な集合を生成できるか？

主な発見

• 提案されたMOCNNフレームワークは、非支配的CNN解の明確なParetoフロントを成功裏に生成し、分類精度とFLOPsの間で良好なトレードオフを示した。
• 最適化されたMOCNNは、CIFAR-10で95.51%のテスト精度を達成し、同じ探索空間内でDenseNet-121（94.77%）を上回った。
• スウォームに50人の個体を用いた実験は、20人個体の実験よりもParetoフロントのカバー範囲が広がったが、収束は遅かった。
• 分散GPUインフラにより、単一GPUでの約3週間から、8〜10GPUでの約3日間へと合計実行時間を短縮。近線形のスループット向上を達成。
• 進化的な探索が、計算制約下にあっても手作業で設計されたアーキテクチャ（例：DenseNet-121）と同等またはそれ以上の性能を持つモデルを生成できることを示した。