[論文レビュー] Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization

Wei‐Chang Yeh, Yiping Lin+2 more|arXiv (Cornell University)|Mar 6, 2021

Advanced Neural Network Applications参考文献 47被引用数 11

ひとこと要約

本稿では、軽量なLeNet畳み込みニューラルネットワークのハイパーパrameterを最適化するために、簡素化された群れ最適化（SSO）アルゴリズムを提案している。MNIST、Fashion MNIST、CIFAR-10データセットにおいて、元のLeNetおよびPSOで最適化されたLeNetよりも高い精度を達成している。本手法は、集団ベースのメタヒューリスティックを用いてハイパーパrameter空間を効率的に探索し、AlexNetのようなより深いモデルへのスケーラビリティの可能性を示している。

ABSTRACT

Convolutional neural networks (CNNs) are widely used in image recognition. Numerous CNN models, such as LeNet, AlexNet, VGG, ResNet, and GoogLeNet, have been proposed by increasing the number of layers, to improve the performance of CNNs. However, performance deteriorates beyond a certain number of layers. Hence, hyperparameter optimisation is a more efficient way to improve CNNs. To validate this concept, a new algorithm based on simplified swarm optimisation is proposed to optimise the hyperparameters of the simplest CNN model, which is LeNet. The results of experiments conducted on the MNIST, Fashion MNIST, and Cifar10 datasets showed that the accuracy of the proposed algorithm is higher than the original LeNet model and PSO-LeNet and that it has a high potential to be extended to more complicated models, such as AlexNet.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の深さを増すと性能向上のリターンが減少する問題に、ネットワークの深さに依存しないハイパーパrameter最適化に焦点を当てることで対処する。
• 自動ハイパーパラメータチューニングにより、LeNetアーキテクチャの一般化性能と精度を向上させること。
• 新規に提案された簡素化された群れ最適化（SSO）アルゴリズムがCNNのハイパーパラメータ最適化に有効であるかを評価すること。
• 提案手法が、AlexNetのようなより複雑なモデルへとスケーラブルであるかを示すこと。

提案手法

• 著者らは、LeNetベースのCNNにおける最適なハイパーパラメータを探索するために、簡素化された群れ最適化（SSO）アルゴリズムを実装している。
• SSOは、学習率、フィルターサイズ、フィルタ数、全結合層の次元といった重要なハイパーパラメータを最適化するために適用されている。
• 最適化プロセスでは、ベンチマークデータセットにおけるバリデーション精度に基づいて候補解が評価されている。
• アルゴリズムは、個人的最良およびグローバル最良のパフォーマンスに基づいて、反復的に位置を更新する候補解の集団を使用している。
• この手法は、MNIST、Fashion MNIST、CIFAR-10の3つのデータセットでテストされ、妥当性を高めるために交差検証が用いられている。
• SSOで最適化されたLeNetモデルは、元のLeNetおよびPSOで最適化されたバージョン（PSO-LeNet）と比較されている。

実験結果

リサーチクエスチョン

• RQ1 簡素化された群れ最適化（SSO）は、LeNetのような軽量なCNNのハイパーパラメータチューニングにより、精度を向上させることができるか？
• RQ2 SSOで最適化されたLeNetモデルは、複数のベンチマークデータセットにおいて、元のLeNetおよびPSO-LeNetと比較してどのように性能を発揮するか？
• RQ3 SSOに基づくハイパーパラメータ最適化手法は、AlexNetのようなより深いCNNアーキテクチャへのスケーラビリティの可能性はいかがなものか？
• RQ4 CNNのハイパーパラメータ探索の文脈において、SSOアルゴリズムは標準的なPSOに比べて、より速い収束性またはより優れた一般化性能を達成するか？

主な発見

• SSOで最適化されたLeNetは、MNIST、Fashion MNIST、CIFAR-10の3つのデータセットすべてにおいて、元のLeNetよりも高いテスト精度を達成した。
• 提案手法は、PSO-LeNetベースラインを上回った。これは、この文脈においてSSOが標準的なPSOよりもハイパーパラメータ最適化に有効であることを示している。
• SSOで最適化されたモデルは、多様な画像分類タスクにおいて一貫した性能向上を示し、データセットの変動に対して頑健であることが示された。
• 結果から、SSOに基づくハイパーパラメータ最適化フレームワークを、AlexNetのようなより複雑なCNNアーキテクチャへと拡張する強い可能性が示唆された。