[論文レビュー] Splitting Steepest Descent for Growing Neural Architectures

Qiang Liu, Lemeng Wu+1 more|arXiv (Cornell University)|Oct 6, 2019

Human Pose and Action Recognition参考文献 29被引用数 20

ひとこと要約

本稿では、∞-Wasserstein距離空間における関数的勾配降下枠組みを用いて、ニューラルネットワークのニューロンを子孫に分割することで、適応的かつ段階的にネットワークを拡大する、新しいプログレッシブニューラルアーキテクチャ探索手法であるSplitting Steepest Descent (SSD) を提案する。この手法は鞍点を脱出するための2次勾配降下を実現し、ランダムおよびヒューリスティックな分割戦略を上回り、リソース制約下でも効率的で軽量なアーキテクチャ学習を可能にする。

ABSTRACT

We develop a progressive training approach for neural networks which adaptively grows the network structure by splitting existing neurons to multiple off-springs. By leveraging a functional steepest descent idea, we derive a simple criterion for deciding the best subset of neurons to split and a splitting gradient for optimally updating the off-springs. Theoretically, our splitting strategy is a second-order functional steepest descent for escaping saddle points in an $\infty$-Wasserstein metric space, on which the standard parametric gradient descent is a first-order steepest descent. Our method provides a new computationally efficient approach for optimizing neural network structures, especially for learning lightweight neural architectures in resource-constrained settings.

研究の動機と目的

• リソース制約下での効率的で自動的なニューラルアーキテクチャ最適化の課題に対処すること。
• パrameterの勾配最適化を、モデル構造の離散的空間へと拡張すること。
• ランダム初期化や固定の追加とは異なり、ニューロンの分割によってニューラルネットワークを成長させる、原理的で微分可能な手法を開発すること。
• 継続的学習および軽量モデル学習において、より速い収束と優れた性能を実現すること。
• 鞍点を最適な分割によって効果的に脱出できる2次関数的勾配降下アプローチを提供すること。

提案手法

• 本手法は、標準的なパrametric勾配降下と、ニューロンを子孫に分割することでネットワークを拡大する分割フェーズを交互に実行する。
• 分割は、ネットワークをニューロンの分布とみなした∞-Wasserstein距離空間における関数的勾配降下基準によって誘導される。
• 最適な分割方向は、子孫に対する無限小の摂動の下で損失を最小化する分割勾配から導出される。
• 分割勾配降下は理論的に2次勾配降下であるのに対し、標準的なパrametric降下は1次勾配降下である。
• 圧縮済みデータ分布と元のデータ分布の類似度を測るために、カーネルベースのMMD（Maximum Mean Discrepancy）損失を用いる。
• 分割行列はカーネル関数の2次微分を用いて計算され、最適な子孫配置を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューロンの分割によって、原理的で微分可能なニューラルネットワークアーキテクチャ成長戦略を導出できるか？
• RQ2 ∞-Wasserstein空間における関数的勾配降下を、最適なニューロン分割を誘導するためにどのように利用できるか？
• RQ3 分割に基づくアーキテクチャ成長は、収束性および精度においてランダムまたはヒューリスティックな分割を上回るか？
• RQ4 本手法は、標準的なパrametric勾配降下と比較して、鞍点をより効果的に脱出できるか？
• RQ5 本手法は、Frank-Wolfe、ランダム初期化、およびプルーニングベースの手法と比較して、軽量モデル学習において優れているか？

主な発見

• データ圧縮実験において、提案手法のSplitting Steepest Descent（最適分割）は、すべてのイテレーションで最小のMMD損失を達成し、すべてのベースラインを上回った。
• 特に初期イテレーションにおいて、Random Split、New Initialization、Gradient Boostingと比較して、収束が早く、より低い訓練損失に到達した。
• New InitializationおよびGradient Boostingの損失曲線における急激な低下（kicks）は、各新しい粒子を追加した後の再重み付けに起因するが、本手法はこれを回避している。
• 大規模な事前学習モデルを必要としないため、モバイルやIoTデバイスなどのリソース制約下の環境に特に適している。
• 実験的結果から、SSDは従来のプルーニング手法よりもより正確な小型モデルを学習できることを示しており、コンパクトなアーキテクチャ学習における優位性を実証した。
• 理論的分析により、分割フェーズが2次関数的勾配降下を実行しており、関数的空間における鞍点からの脱出を可能にすることが確認された。