[論文レビュー] A Genetic Programming Approach to Designing Convolutional Neural Network Architectures

Masanori Suganuma, Shinichi Shirakawa+1 more|arXiv (Cornell University)|Apr 3, 2017

Evolutionary Algorithms and Applications参考文献 35被引用数 61

ひとこと要約

この論文は Cartesian遺伝的プログラミングを用い、非常に機能的な CNN モジュールを用いて CIFAR-10 の CNN アーキテクチャを自動設計し、人手設計のアーキテクチャを用いずに競争力のある結果を達成する。

ABSTRACT

The convolutional neural network (CNN), which is one of the deep learning models, has seen much success in a variety of computer vision tasks. However, designing CNN architectures still requires expert knowledge and a lot of trial and error. In this paper, we attempt to automatically construct CNN architectures for an image classification task based on Cartesian genetic programming (CGP). In our method, we adopt highly functional modules, such as convolutional blocks and tensor concatenation, as the node functions in CGP. The CNN structure and connectivity represented by the CGP encoding method are optimized to maximize the validation accuracy. To evaluate the proposed method, we constructed a CNN architecture for the image classification task with the CIFAR-10 dataset. The experimental result shows that the proposed method can be used to automatically find the competitive CNN architecture compared with state-of-the-art models.

研究の動機と目的

• 専門家が設計したモデルへの依存を減らすため、自動的な CNN アーキテクチャ設計の動機付け。
• CNN アーキテクチャと接続を表現するための CGP ベースのエンコードを導入。
• CIFAR-10 上で CGP-CNN を評価し、最新モデルと比較。
• ConvSet 対 ResSet のノード関数集合の影響を調査します。

提案手法

• CNN アーキテクチャを固定グリッドのノードを持つ Cartesian 遺伝的プログラムとして表現。
• 6つのノード機能を使用: ConvBlock、ResBlock、最大プーリング、平均プーリング、連結、加算。
• 各候補アーキテクチャを訓練し、検証精度を適応度として割り当てる。
• 強制突然変異と中性突然変異を組み込んだ改良版(1+2)進化戦略を用いて、反復的にアーキテクチャを改善。
• 2つの関数集合（ConvSetとResSet）を比較してアーキテクチャのスタイルを探る。
• 最良のアーキテクチャを完全な訓練データで再訓練し、最終テスト精度を報告。

実験結果

リサーチクエスチョン

• RQ1 高度に機能的なモジュールを備えたCGPは自動的にCIFAR-10の競争力のあるCNNアーキテクチャを発見できるか？
• RQ2 ConvBlockベースとResBlockベースの関数集合は検索と得られるアーキテクチャにどう影響するか？
• RQ3 CGP設計のCNNにおけるモデルサイズ（パラメータ）と精度のトレードオフは？
• RQ4 CIFAR-10における手作業設計およびRLベースのアーキテクチャ探索法とCGP-CNNはどう比較されるか？

主な発見

モデル	誤差率	# パラメータ (×10^6)
Maxout	9.38	–
Network in Network	8.81	–
VGG (D)	7.94	15.2
ResNet	6.61	1.7
MetaQNN	9.09	3.7
Neural Architecture Search	3.65	37.4
CGP-CNN (ConvSet)	6.75	1.52
CGP-CNN (ResSet)	5.98	1.68

• CGP-CNN with ResSet はデフォルトシナリオで比較対象モデルの中で最も低い報告誤差を達成（5.98% 誤差、1.68×10^6 パラメータ）。
• CGP-CNN with ConvSet は 6.75% 誤差で 1.52×10^6 パラメータ、競争力のある性能と異なるアーキテクチャスタイルを示す。
• 小データシナリオでは、CGP-CNN (ConvSet) と CGP-CNN (ResSet) は VGG と ResNet を上回り、誤差がそれぞれ 23.48%、23.47%、比較的少ないパラメータ数。
• 最良の CGP-CNN アーキテクチャは ResNet に似たパターン、ショートカット接続やダウンサンプリングの代替を含み、人間の競合設計を発見できることを示している。
• RLベースの NAS 手法と比較して、CGP-CNN は競争力のある精度を達成しつつ、はるかに少ない計算リソース（数百GPUは不要）で実現。
• 本研究はCGPによるアーキテクチャ探索が有効なCNNを生み出せること、アーキテクチャのスタイルは選択された関数セットに影響されることを示唆している。