[論文レビュー] Steepest Descent Neural Architecture Optimization: Escaping Local Optimum with Signed Neural Splitting

Lemeng Wu, Mao Ye+3 more|arXiv (Cornell University)|Mar 23, 2020

Neural Networks and Applications参考文献 34被引用数 5

ひとこと要約

本稿では、符号付きスプリッティング勾配降下法（S3D）を提案する。これは、正定値のスプリッティング行列によって引き起こされる「スプリッティング安定」状態を解消することで、S2Dフレームワークを拡張し、ニューロンを正負の重みを持つ複製に分割することを可能にする、ニューラルアーキテクチャ最適化の新手法である。S3Dは局所最適解から脱出し、CIFAR-100、ImageNet、ModelNet40で優れた性能を発揮し、S2D や従来手法よりも小型で、より正確かつエネルギー効率の高いネットワークを学習可能である。

ABSTRACT

Developing efficient and principled neural architecture optimization methods is a critical challenge of modern deep learning. Recently, Liu et al.[19] proposed a splitting steepest descent (S2D) method that jointly optimizes the neural parameters and architectures based on progressively growing network structures by splitting neurons into multiple copies in a steepest descent fashion. However, S2D suffers from a local optimality issue when all the neurons become "splitting stable", a concept akin to local stability in parametric optimization. In this work, we develop a significant and surprising extension of the splitting descent framework that addresses the local optimality issue. The idea is to observe that the original S2D is unnecessarily restricted to splitting neurons into positive weighted copies. By simply allowing both positive and negative weights during splitting, we can eliminate the appearance of splitting stability in S2D and hence escape the local optima to obtain better performance. By incorporating signed splittings, we significantly extend the optimization power of splitting steepest descent both theoretically and empirically. We verify our method on various challenging benchmarks such as CIFAR-100, ImageNet and ModelNet40, on which we outperform S2D and other advanced methods on learning accurate and energy-efficient neural networks.

研究の動機と目的

• スプリッティング勾配降下法（S2D）における局所最適性の問題に対処すること。これは、正定値のスプリッティング行列を持つ「スプリッティング安定」ニューロンによって最適化が停止するためである。
• S2Dの制限を超えて継続的な損失低下を実現するための原理的かつ整合性のある手法を開発すること。具体的には、スプリッティングに負の重みを含める拡張を実現すること。
• より強い理論的収束保証を確立し、コンパクトで正確かつエネルギー効率の良いニューラルネットワークの学習における実験的性能を向上させること。
• CIFAR-100、ImageNet、ModelNet40を含む多様なベンチマークで、特に3分割および4分割のスプリットが有効であることを実証すること。

提案手法

• 符号付きスプリッティング勾配降下法（S3D）を導入し、正負の重みを持つ複数のコピーへのニューロンスプリットを許容することで、S2Dを一般化する。
• スプリッティング行列の最小固有値と最大固有値を用いて最適なスプリットルールを導出することで、スプリッティング行列が正定値であっても損失の低下を可能にする。
• 全パラメータ数またはFLOPs制約下で、各ニューロンに対して最適なスプリット構成（2分割、3分割、4分割）を選択するためのナップサック問題に基づく定式化を採用する。
• 行列を明示的に構築せずに、スプリッティング行列の最小・最大固有値を自動微分を用いて効率的に計算するため、レイリー商勾配降下法を用いる。
• ナップサック問題に凸緩和を適用することで、ニューロン全体にわたるスプリット構成のスケーラブルかつ微分可能な選択を可能にする。
• パrametric勾配更新と符号付きスプリットによるアーキテクチャ降下を交互最適化スキームで統合する。

実験結果

リサーチクエスチョン

• RQ1 ニューロンスプリット時に負の重みを許容することで、S2Dにおける局所最適解を引き起こす「スプリッティング安定」条件を解消できるか？
• RQ2 符号付きスプリットは、理論的収束保証を強化し、ニューラルアーキテクチャ探索における実験的性能を向上させるか？
• RQ3 符号の混合を伴う3分割および4分割スプリットは、正の2分割に比べて、より高いモデル精度と効率性を達成できるか？
• RQ4 CIFAR-100、ImageNet、ModelNet40の困難なベンチマークにおいて、S3DはS2Dや他の最先端手法と比較して、精度、パラメータ数、FLOPsの観点で優れているか？
• RQ5 微分可能なナップサック定式化は、アーキテクチャ探索中にネットワークサイズと損失低下のバランスを効果的にとれるか？

主な発見

• CIFAR-100では、0.30Mパラメータと73.69M FLOPsでトップ1精度70.19%を達成し、類似制約下のS2D-5（69.69%）を上回った。
• ナップサックベースのスプリット戦略を用いることで、S3Dは72.19M FLOPsで70.01%の精度を達成し、わずかに計算コストを削減しながらも高い性能を維持した。
• 負の重みを許容することでスプリッティング安定問題を解消し、スプリッティング行列が正定値であっても継続的な損失低下が可能になった。
• CIFAR-100、ImageNet、ModelNet40の全ベンチマークで、S2D や他の先進手法に比べ、小型で正確かつエネルギー効率の良いネットワークの学習において顕著な性能向上を示した。
• 理論的分析により、S3Dは損失低下が可能となるより強い最適性の概念に収束することが示された。これは、すべてのスプリッティング行列がゼロでない限り、損失低下が継続可能であることを意味する。
• 実験的結果から、特に正負の2分割スプリットの組み合わせが実際の応用において極めて有効であることが確認された。