[論文レビュー] Optimization of Convolutional Neural Network using Microcanonical Annealing Algorithm

Vina Ayumi, L. M. Rasdi Rere+2 more|arXiv (Cornell University)|Oct 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 15

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の性能を向上させるために、新しいメタヒューリスティック最適化手法であるマイクロカノニカルアニーリング（MA）を提案する。マイクロカノニカル集合におけるエネルギーに基づく探索を活用することで、標準的なCNNを上回る分類精度を達成し、CIFAR-10でトップ-1精度99.14％を達成した。これは、計算時間の1.02倍～1.38倍の増加を伴うが、最先端の手法を上回った。

ABSTRACT

Convolutional neural network (CNN) is one of the most prominent architectures and algorithm in Deep Learning. It shows a remarkable improvement in the recognition and classification of objects. This method has also been proven to be very effective in a variety of computer vision and machine learning problems. As in other deep learning, however, training the CNN is interesting yet challenging. Recently, some metaheuristic algorithms have been used to optimize CNN using Genetic Algorithm, Particle Swarm Optimization, Simulated Annealing and Harmony Search. In this paper, another type of metaheuristic algorithms with different strategy has been proposed, i.e. Microcanonical Annealing to optimize Convolutional Neural Network. The performance of the proposed method is tested using the MNIST and CIFAR-10 datasets. Although experiment results of MNIST dataset indicate the increase in computation time (1.02x - 1.38x), nevertheless this proposed method can considerably enhance the performance of the original CNN (up to 4.60\%). On the CIFAR10 dataset, currently, state of the art is 96.53\% using fractional pooling, while this proposed method achieves 99.14\%.

研究の動機と目的

• 深層CNNの最適化という課題に取り組む。これは依然として計算コストが高く、ハイパーパrameterの初期化に敏感である。
• 物理学にインspiredされたメタヒューリスティックであるマイクロカノニカルアニーリング（MA）が、シミュレーテッドアニーリングや遺伝的アルゴリズムなどの既存の最適化手法の代替手段としての可能性を検討する。
• MAの有効性を、MNIST や CIFAR-10 などの標準ベンチマーク上で、CNNの分類精度向上の観点から評価する。
• MAを用いて最適化されたCNNの性能を、標準CNNおよび最先端モデルとの比較を通じて、精度および学習時間の観点から評価する。

提案手法

• 提案手法は、CNNの学習ループにマイクロカノニカルアニーリング（MA）を統合し、温度依存の受容基準に代えてエネルギーに基づく探索を用いる。
• MAは、系全体のエネルギーが保存されるマイクロカノニカル集合で動作し、乱数生成や超越関数を必要とせず、エネルギー変化に基づいて遷移を受容する。
• アルゴリズムは、状態遷移中にエネルギーを吸収または放出する「デモン」を用い、エネルギー保存を保ちながら、従来のシミュレーテッドアニーリングよりも高速な収束を実現する。
• CNNアーキテクチャは標準的なバックプロパゲーションで学習されるが、重みの更新はパラメータ空間におけるMAベースの探索により実施され、近隣サイズは10、最大反復回数は10に固定される。
• 主なハイパーパrameterとして、運動エネルギーは100、学習率α = 1、バッチサイズは100と設定され、MNISTおよびCIFAR-10データセットの両方で実験が実施された。
• 手法はMatConvNetを変更することで実装され、さまざまな学習エポック数での性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 マイクロカノニカルアニーリングは、MNIST や CIFAR-10 といった標準的な画像データセットにおいて、標準的な学習と比較して、畳み込みニューラルネットワークの分類精度を向上させることができるか？
• RQ2 MAを用いて最適化されたCNNの計算コストは、標準CNNと比較してどの程度か。計算時間の増加は、精度の向上によって正当化されるか？
• RQ3 MAは、ハーモニーハイパーチューニングやシミュレーテッドアニーリングなどの既存のメタヒューリスティック最適化手法を上回る性能を示すか？
• RQ4 MNISTおよびCIFAR-10において、さまざまな学習エポック数でMAを用いることで得られる最大の精度向上はどの程度か？
• RQ5 MAは、分数プーリングや大規模なALL-CNNアーキテクチャなどの手法と比較して、CIFAR-10で最先端の性能を達成できるか？

主な発見

• MNISTデータセットでは、全テストエポックにおいて標準CNNを上回る最大4.60％の精度向上がMAを用いたCNNで達成され、特にエポック1で最大の向上が観察された。
• 計算コストの増加にもかかわらず、MAを用いたCNNは一貫した性能優位性を維持し、計算時間は標準CNNと比較して1.02倍～1.38倍に増加した。
• CIFAR-10データセットでは、提案手法がトップ-1精度99.14％を達成し、最先端の分数プール手法（96.53％）や他のベンチマークを大きく上回った。
• ハーモニーハイパーチューニング（72.28％精度）などの他のメタヒューリスティックベースの手法よりも優れた最適化能力を示した。
• 異なる学習エポック数においても安定した精度向上を示し、MNISTでは一貫した向上が観察され、より複雑なCIFAR-10データセットにおいても優れた一般化性能を示した。
• 結果から、MAは、特に精度に敏感な応用分野において、従来の最適化手法の代替手段として実用的かつ効果的であると考えられる。