[論文レビュー] Learning the Architecture of Deep Neural Networks

Suraj Srinivas, R. Venkatesh Babu|arXiv (Cornell University)|Nov 17, 2015

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、三状態ReLU活性化関数と滑らかな正則化項を用いて、ニューラルネットワークのアーキテクチャと重みを同時に最適化する微分可能アーキテクチャ学習フレームワークを提案する。この手法により、性能に劣化を来さずに顕著に少ないパラメータ数で最先端の精度を達成し、自動的なアーキテクチャ圧縮が有効であることを示している。

ABSTRACT

Deep neural networks with millions of parameters are at the heart of many state of the art machine learning models today. However, recent works have shown that models with much smaller number of parameters can also perform just as well. In this work, we introduce the problem of architecture-learning, i.e; learning the architecture of a neural network along with weights. We introduce a new trainable parameter called tri-state ReLU, which helps in eliminating unnecessary neurons. We also propose a smooth regularizer which encourages the total number of neurons after elimination to be small. The resulting objective is differentiable and simple to optimize. We experimentally validate our method on both small and large networks, and show that it can learn models with a considerably small number of parameters without affecting prediction accuracy.

研究の動機と目的

• 最小限のパラメータ数で高い精度を維持しつつ、効率的なディープニューラルネットワークを設計する課題に対処すること。
• 学習中に最適なネットワークアーキテクチャを自動的に学習できる、微分可能でエンドツーエンドで訓練可能な手法を開発すること。
• 新しいパrameterizationと正則化戦略により、不要なニューロンの数を削減すること。
• 小規模および大規模なネットワークにおいてもスケーラブルで効果的な自動アーキテクチャ探索を可能にすること。

提案手法

• ニューロンが能動的に学習可能、無効化可能、または常に活性化される状態を許容する三状態ReLU活性化関数を導入し、微分可能なニューロンのプルーニングを可能にする。
• 最終的なネットワークにおけるスパarsityを促進するため、活性化されたニューロン総数をペナルティ化する滑らかな正則化項を提案する。
• 勾配ベース最適化により、ネットワークの重みとアーキテクチャを同時に最適化する微分可能な目的関数を設計する。
• 勾配更新を通じて不要なニューロンを動的に削除できるパrameterizationを採用する。
• 正則化項によるソフトスレッショルド機構を用いて、ハードプルーニングを伴わずにコンパクトなアーキテクチャを促進する。
• 標準的なバックプロパゲーションを用いて、アーキテクチャと重みを同時に最適化するエンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能な手法は、高い予測精度を維持しつつ、コンパクトなニューラルネットワークアーキテクチャを学習できるか？
• RQ2 三状態ReLUは、学習中に自動的なニューロンプルーニングをどの程度効果的に可能にするか？
• RQ3 滑らかな正則化項は、モデル性能の低下を最小限に抑えながら、パラメータ数をどの程度削減できるか？
• RQ4 提案手法は、小規模および大規模なニューラルネットワークアーキテクチャの両方で一般化可能か？
• RQ5 アーキテクチャと重みの共同最適化は、固定アーキテクチャに比べてより高いパrameter効率を達成できるか？

主な発見

• 提案手法は、標準アーキテクチャに比べて顕著に少ないパラメータ数で、ベンチマークタスクにおいて最先端の精度を達成した。
• 三状態ReLUは、効果的かつ微分可能なニューロンの削除を可能にし、ネットワークが自身の最適な幅（幅の最適化）を学習できるようにした。
• 滑らかな正則化項はスパarsityを効果的に促進し、性能の低下を最小限に抑えつつ、コンパクトなモデルを実現した。
• この手法は小規模および大規模なネットワークアーキテクチャの両方で良好に一般化され、スケーラビリティを示した。
• アーキテクチャと重みの共同最適化により、予測性能を損なわずに、よりパrameter効率の高いモデルが得られた。