[論文レビュー] Optimization Algorithm Inspired Deep Neural Network Structure Design

Huan Li, Yibo Yang+2 more|arXiv (Cornell University)|Oct 3, 2018

Advanced Neural Network Applications参考文献 32被引用数 11

ひとこと要約

本論文は最適化アルゴリズムにインspiredされた、深層ニューラルネットワーク構造設計のフレームワークを提案する。フィードフォワードネットワークに共通の線形変換を適用することで勾配降下法を模倣できることを示し、それらをより高速な手法（ヘヴィーボール法やネステロフの加速勾配降下法）に置き換えることで、性能の向上が達成される。得られたHB-NetおよびAGD-Netアーキテクチャは、CIFAR-10、CIFAR-100、ImageNetにおいて、より低い誤差率とより安定した学習を示し、特に深さが増すと顕著な優位性を示す。

ABSTRACT

Deep neural networks have been one of the dominant machine learning approaches in recent years. Several new network structures are proposed and have better performance than the traditional feedforward neural network structure. Representative ones include the skip connection structure in ResNet and the dense connection structure in DenseNet. However, it still lacks a unified guidance for the neural network structure design. In this paper, we propose the hypothesis that the neural network structure design can be inspired by optimization algorithms and a faster optimization algorithm may lead to a better neural network structure. Specifically, we prove that the propagation in the feedforward neural network with the same linear transformation in different layers is equivalent to minimizing some function using the gradient descent algorithm. Based on this observation, we replace the gradient descent algorithm with the heavy ball algorithm and Nesterov's accelerated gradient descent algorithm, which are faster and inspire us to design new and better network structures. ResNet and DenseNet can be considered as two special cases of our framework. Numerical experiments on CIFAR-10, CIFAR-100 and ImageNet verify the advantage of our optimization algorithm inspired structures over ResNet and DenseNet.

研究の動機と目的

• 最適化アルゴリズムのダイナミクスに基づいた、深層ニューラルネットワーク構造の統一的設計原則を確立すること。
• より高速な最適化アルゴリズムが、より優れた性能を示すニューラルネットワークアーキテクチャの設計に寄与するかを調査すること。
• 標準的なフィードフォワードネットワークと関数最小化における勾配降下法との間の等価性を形式化すること。
• 勾配降下法を加速最適化手法に置き換えることで、HB-NetおよびAGD-Netという新しいネットワーク構造を開発すること。
• 標準ベンチマーク（CIFAR-10、CIFAR-100、ImageNet）上で提案されたフレームワークを検証し、性能の向上と学習の安定性を示すこと。

提案手法

• 各層に同一の線形変換を適用するフィードフォワードネットワークが、損失関数の勾配降下法と数学的に同等であることを証明すること。
• 標準的な勾配降下法に代えて、より高速な最適化アルゴリズム（ヘヴィーボール法およびネステロフの加速勾配降下法）を採用すること。
• ヘヴィーボール法または加速勾配アルゴリズムの1ステップとして各層をモデル化することで、HB-NetおよびAGD-Netという新しいネットワーク構造を設計すること。
• 再帰構造とスキップ接続の調整により、新しいアーキテクチャがResNetおよびDenseNetを特別なケースとして包含することを保証すること。
• 公平な比較のため、標準的な訓練プロトコル（ネステロフモーメンタム付きSGD、重み減衰、Xavier初期化）を用いてモデルを実装すること。
• ベースラインモデル（ResNetおよびDenseNet）と同一のハイパーパrameterおよび訓練スケジュールを用いることで、アーキテクチャ設計の影響を明確に分離すること。

実験結果

リサーチクエスチョン

• RQ1 最適化アルゴリズムの原則に基づいて、深層ニューラルネットワークの構造設計を体系的に行うことは可能か？
• RQ2 共通重みを有する標準的なフィードフォワードネットワークと、古典的勾配降下最適化法との間に正式な等価性が存在するか？
• RQ3 ヘヴィーボール法やネステロフ法といったより高速な最適化アルゴリズムは、より優れた性能を示すニューラルネットワークアーキテクチャの設計に寄与するか？
• RQ4 得られたアーキテクチャ（HB-NetおよびAGD-Net）は、精度および学習の安定性において、ResNetおよびDenseNetを上回るか？
• RQ5 提案されたフレームワークは、より深いネットワークおよび大規模データセット（例：ImageNet）にも一般化可能か？

主な発見

• HB-NetおよびAGD-Netは、CIFAR-10およびCIFAR-100において、ResNetおよびDenseNetよりも低い誤差率を達成し、L=52の条件下でAGD-NetはCIFAR-100のトップ1誤差を0.3%低減した。
• CIFAR-100（L=52）において、AGD-Netは23.84%の誤差を達成し、DenseNet（24.33%）を上回り、0.49%の改善を示した。
• 深さ110（n=18）のHB-NetはCIFAR-10で8.66%の誤差を達成し、ResNet-110（9.17%）を上回り、0.51%の改善を示した。
• HB-Netは優れた学習安定性を示した：深さ110であっても、標準的な訓練戦略で信頼性高く収束したが、ResNet-110はウォームアップと繰り返しの訓練試行を要した。
• ImageNetでは、AGD-Net-121が24.62%のトップ1誤差を達成し、DenseNet-121（25.02%）を上回った。また、HB-Net-34は26.33%のトップ1誤差を記録し、ResNet-34（26.73%）を上回った。
• 提案されたフレームワークは、ResNetおよびDenseNetを特別なケースとして自然に一般化でき、理論的基盤の妥当性とアーキテクチャの柔軟性を裏付けた。