[論文レビュー] Optimization of Convolutional Neural Network Using the Linearly Decreasing Weight Particle Swarm Optimization

Tatsuki Serizawa, Hamido Fujita|arXiv (Cornell University)|Jan 16, 2020

Metaheuristic Optimization Algorithms Research参考文献 15被引用数 27

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）におけるハイパーパrameterチューニングを自動化するため、線形減少重み粒子群最適化（LDWPSO）を提案する。これにより、学習の効率性と精度が向上する。MNISTおよびCIFAR-10データセットにおいて、LDWPSO-CNNはそれぞれ98.95%および69.37%のトップ1精度を達成した。これは、標準的なLeNet-5ベースのCNNが達成する94.02%および28.07%を著しく上回った。

ABSTRACT

Convolutional neural network (CNN) is one of the most frequently used deep learning techniques. Various forms of models have been proposed and im-proved for learning at CNN. When learning with CNN, it is necessary to determine the optimal hyperparameters. However, the number of hyperparameters is so large that it is difficult to do it manually, so much research has been done on automation. A method that uses metaheuristic algorithms is attracting attention in research on hyperparameter optimization. Metaheuristic algorithms are naturally inspired and include evolution strategies, genetic algorithms, antcolony optimization and particle swarm optimization. In particular, particle swarm optimization converges faster than genetic algorithms, and various models have been proposed. In this paper, we pro-pose CNN hyperparameter optimization with linearly decreasing weight particle swarm optimization (LDWPSO). In the experiment, the MNIST data set and CIFAR-10 data set, which are often used as benchmark data sets, are used. By opti-mizing CNN hyperparameters with LDWPSO, learning the MNIST and CIFAR-10 datasets, we compare the accuracy with a standard CNN based on LeNet-5. As a result, when using the MNIST dataset, the baseline CNN is 94.02% at the 5th epoch, compared to 98.95% for LDWPSO CNN, which improves accuracy. When using the CIFAR-10 dataset, the Baseline CNN is 28.07% at the 10th epoch, compared to 69.37% for the LDWPSO CNN, which greatly improves accuracy. This paper is presented at the 36th Annual Conference of the Japanese Society for Artificial In-telligence. The final version is available at the following URL: https://doi.org/10.11517/pjsai.JSAI2022.0_2S4IS2b03

研究の動機と目的

• 高次元性のため、CNNにおける手動によるハイパーパrameterチューニングが現実的でないという課題に対処する。
• メタヒューリスティック最適化を用いて最適なハイパーパrameterの自動探索を実現し、CNNの学習性能を向上させる。
• 線形減少インertia重みを有する粒子群最適化（PSO）の一種、LDWPSOの有効性を、標準的なベンチマークデータセット上で評価する。
• LDWPSO-CNNの性能を、精度および収束速度の観点から、標準的なLeNet-5ベースのCNNと比較する。

提案手法

• 粒子群最適化（PSO）を、線形に減少するインertia重み（LDWPSO）を用いて適応させ、ハイパーパrameter最適化におけるグローバル探索とローカル探索のバランスをとる。
• スワーム内の各粒子を、CNNハイパーパramータ（例：フィルターサイズ、学習率、フィルタ数）の候補セットとして表現する。
• 固定された学習エポック数後の検証精度に基づくフィットネス関数を定義し、各粒子のハイパーパラメータ設定の評価を行う。
• 標準的なPSO式に従い、粒子の位置と速度を更新するが、インertia重みを反復回数に応じて線形に減少させることで収束性を向上させる。
• LeNet-5ベースのCNNアーキテクチャとLDWPSOを統合し、ハイパーパラメータとネットワークのトレーニングを同時に最適化する。
• 固定回数の反復を実行し、最終評価用に最も性能の優れたハイパーパラメータセットを選択する。

実験結果

リサーチクエスチョン

• RQ1 LDWPSOは、一般化性能および収束性を向上させるために、CNNハイパーパラメータを効果的に最適化できるか？
• RQ2 MNISTおよびCIFAR-10データセットにおいて、LDWPSO-CNNの性能は標準的なLeNet-5ベースのCNNと比べてどうか？
• RQ3 PSOにおける線形減少インertia重みは、CNNハイパーパラメータ最適化における探索効率と精度を向上させるか？
• RQ4 ベースラインCNNと比較して、LDWPSOはトレーニング速度および最終モデルの精度にどのような影響を与えるか？
• RQ5 異なる複雑さを示すベンチマークデータセットにおいて、LDWPSOは一貫した性能向上を達成できるか？

主な発見

• MNISTデータセットでは、LDWPSO-CNNは第5エポックで98.95%のトップ1精度を達成したのに対し、ベースラインCNNは94.02%であった。
• CIFAR-10データセットでは、LDWPSO-CNNは第10エポックで69.37%のトップ1精度に到達したが、これはベースラインCNNの28.07%を著しく上回った。
• LDWPSO手法は、固定ハイパーパラメータを用いた標準的なCNN学習と比較して、より速い収束性と高い精度を示した。
• 線形に減少するインertia重みは、探索と開拓のバランスを改善し、より優れたハイパーパラメータ探索性能をもたらした。
• 結果から、LDWPSOは特にCIFAR-10のような複雑なデータセットにおいて、CNNにおける自動ハイパーパラメータ最適化に有効であることが確認された。
• 提案手法は、ベースCNNモデルのアーキテクチャを変更することなく、顕著な精度向上を達成した。