[論文レビュー] Finding Better Topologies for Deep Convolutional Neural Networks by Evolution

Honglei Zhang, Serkan Kıranyaz+1 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Neural Network Applications参考文献 24被引用数 18

ひとこと要約

本論文では、限られた計算リソースの中で最適な深層畳み込みニューラルネットワーク（CNN）トポロジーを効率的に探索するため、知識継承と学習を用いた進化的アルゴリズムを提案する。CIFAR-10上でCNNアーキテクチャを進化させることで、層数を減らしてもResidual Networkを上回る性能を示すトポロジーを発見し、短いソース・トゥ・シンク距離や最適なグラフ密度といった重要な構造的原則を明らかにした。

ABSTRACT

Due to the nonlinearity of artificial neural networks, designing topologies for deep convolutional neural networks (CNN) is a challenging task and often only heuristic approach, such as trial and error, can be applied. An evolutionary algorithm can solve optimization problems where the fitness landscape is unknown. However, evolutionary algorithms are computing resource intensive, which makes it difficult for problems when deep CNNs are involved. In this paper, we propose an evolutionary strategy to find better topologies for deep CNNs. Incorporating the concept of knowledge inheritance and knowledge learning, our evolutionary algorithm can be executed with limited computing resources. We applied the proposed algorithm in finding effective topologies of deep CNNs for the image classification task using CIFAR-10 dataset. After the evolution, we analyzed the topologies that performed well for this task. Our studies verify the techniques that have been commonly used in human designed deep CNNs. We also discovered that some of the graph properties greatly affect the system performance. We applied the guidelines learned from the evolution and designed new network topologies that outperform Residual Net with less layers on CIFAR-10, CIFAR-100, and SVHN dataset.

研究の動機と目的

• 理論的ツールの不足と高い非線形性のため、最適な深層CNNトポロジーを設計することが難しいという課題に対処すること。
• 知識継承と知識学習を導入することで、深層CNNの進化における計算負荷を軽減し、トレーニングを高速化すること。
• 高性能な深層CNNにおける構造的パターンやグラフ特性を同定すること。
• 進化したトポロジーから設計指針を導出し、標準ベンチマークでその有効性を検証すること。
• 進化したトポロジーが層数を減らしてもResidual Networksを上回る精度を達成できることを示すこと。

提案手法

• 無性の進化的戦略が用いられ、親ネットワークに対して5種類の事前定義済み変異のうち1つを適用して子孫を生成する。
• ボルツマン分布に基づく確率的ランク比例選択により、次世代の個体が選択される。
• 知識継承により、各新しい個体が親のトレーニングハイパーパrameterおよび初期重みを継承し、トレーニング時間を短縮する。
• 知識学習により、性能フィードバックに基づいてトレーニングハイパーパrameter（例：初期学習率）を動的に適応的に調整する。
• リソースを節約するため、各ネットワークは1エポックのみトレーニングされ、計算量を制限するために早期停止が適用される。
• ネットワークは有向グラフとして表現され、最短経路、密度、接続性といったグラフ特性がトポロジー分析に用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層CNNトポロジーのどの構造的特性が、高い分類精度と最も強く相関しているか？
• RQ2 進化的アルゴリズムは、人間が設計したモデルよりも層数を減らしても、より優れた性能を示すCNNアーキテクチャを発見できるか？
• RQ3 最短経路や接続性といったグラフ理論的特性は、深層CNNの性能にどのように影響を与えるか？
• RQ4 知識継承と学習を用いることで、深層CNNの進化にかかる計算コストをどの程度軽減できるか？
• RQ5 進化したトポロジーから得た原則は、新たなより効率的なネットワークの設計に一般化可能か？

主な発見

• 進化したトポロジーEVO-91bは、CIFAR-10でテスト誤差率5.19%を達成し、層数が少ないにもかかわらずResNet-110（6.43%）を上回った。
• ソースノードからシンクノードまでの最短経路が短いネットワークは一貫して優れた性能を示し、EVO-91bは最も低い誤差率を記録した。
• 最適なグラフ密度と強い接続性が性能に重要であることが判明し、EVO-44bとEVO-91bは深さが異なるにもかかわらず高い性能を示した。
• スキップ接続や残差学習といった一般的に用いられる技術が進化的に好まれることが確認され、それらの有効性が裏付けられた。
• 進化したトポロジーから導き出された設計指針により、CIFAR-10、CIFAR-100、SVHNの各ベンチマークでResidual Networksを上回る性能を示す新たなネットワークが設計可能となったが、層数を削減した。
• DenseNet-100は高いグラフ密度を示したが、最短経路は6であった。これは、高性能な進化ネットワークで観察された最適な経路長と整合的である。