[論文レビュー] Parsimonious Deep Learning: A Differential Inclusion Approach with Global Convergence.

Yanwei Fu, Chen Liu+4 more|arXiv (Cornell University)|May 23, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、逆スケール空間の微分包含を用いて、単純なモデルから複雑なモデルへと体系的にニューラルネットワークの複雑さを成長させる、簡潔な深層学習フレームワークを提案する。分割線形化ブレグマン反復を用い、保証されたグローバル収束性を達成することで、過パラメータ化を避けつつ、効率的で解釈可能なモデル探索が可能となり、MNIST、CIFAR-10/100、ImageNetで優れた性能を示す。

ABSTRACT

Over-parameterization is ubiquitous nowadays in training neural networks to benefit both optimization in seeking global optima and generalization in reducing prediction error. However, compressive networks are desired in many real world applications and direct training of small networks may be trapped in local optima. In this paper, instead of pruning or distilling an over-parameterized model to compressive ones, we propose a parsimonious learning approach based on differential inclusions of inverse scale spaces, that generates a family of models from simple to complex ones with a better efficiency and interpretability than stochastic gradient descent in exploring the model space. It enjoys a simple discretization, the Split Linearized Bregman Iterations, with provable global convergence that from any initializations, algorithmic iterations converge to a critical point of empirical risks. One may exploit the proposed method to boost the complexity of neural networks progressively. Numerical experiments with MNIST, Cifar-10/100, and ImageNet are conducted to show the method is promising in training large scale models with a favorite interpretability.

研究の動機と目的

• 最適化中に局所最適解に陥りがちな、小規模で圧縮可能なニューラルネットワークのトレーニングという課題に対処する。
• モデル圧縮における従来のプルーニングや distillation 法の非効率性と解釈不能性を克服する。
• 初期化に依存せず、制御された形で単純な構造から複雑なアーキテクチャへと体系的にモデルの複雑さを探索する手法を開発する。
• 過パラメータ化された初期化に依存せずに、大規模モデルの効率的かつ解釈可能なトレーニングを可能にする。

提案手法

• 段階的なモデル複雑さをモデル化するため、逆スケール空間に基づく微分包含として学習プロセスを定式化する。
• 微分包含の安定的かつ効率的な数値離散化のため、分割線形化ブレグマン反復を用いる。
• 任意の初期化からでも経験的リスクの臨界点へのグローバル収束を保証し、頑健な最適化を実現する。
• モデルの複雑さを制御する正則化パスを導入し、単純な構造から段階的に複雑なアーキテクチャへと増加可能にする。
• 標準的な深層学習パイプラインに統合することで、解釈可能性を備えたエンドツーエンドトレーニングを可能にする。
• 逆スケール空間の構造を活用し、モデル成長過程における安定性と収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 微分包含フレームワークは、過パラメータ化を避けながら、小規模ニューラルネットワークのトレーニングにおいてグローバル収束を可能にするか？
• RQ2 提案手法は、モデル複雑さの探索と一般化性能の達成において、確率的勾配降下法と比較してどのように異なるか？
• RQ3 この手法は、解釈可能性と収束性を維持したまま、どの程度体系的にモデルの複雑さを増大可能か？
• RQ4 この手法は、プルーニングや distillation を行わず、ImageNet などの標準ベンチマークで競争力のある性能を達成できるか？

主な発見

• 提案手法は、任意の初期化からでも経験的リスクの臨界点へのグローバル収束を達成し、頑健な最適化を保証する。
• 分割線形化ブレグマン反復スキームにより、微分包含フレームワークの単純かつ安定した離散化が可能になる。
• MNIST、CIFAR-10/100、ImageNetにおける数値実験から、高解釈性を備えた大規模モデルのトレーニングに本手法が有効であることが示された。
• 本手法は段階的なモデル複雑さの増大を可能にし、モデル空間探索において標準的な SGD よりも優れた解釈性と効率性を提供する。
• 本手法は、過パラメータ化されたモデルや、プルーニングや distillation などの後処理圧縮技術の必要性を回避する。
• フレームワークは多様なデータセットで強力な実験的性能を示しており、スケーラビリティと頑健性を示している。