[論文レビュー] Nonparametric Neural Networks

George Philipp, Jaime Carbonell|arXiv (Cornell University)|Dec 14, 2017

Advanced Neural Network Applications参考文献 25被引用数 9

ひとこと要約

この論文では、学習中に連続的にユニットを追加・削除することで、1回の学習実行中にネットワークサイズを動的に調整する非パラメトリックニューラルネットワークのフレームワークを紹介する。これは、ℓ₂正則化とファンインまたはファンアウト重みに対するℓₚ正則化を用いる。提案されたAdaRad最適化アルゴリズムにより、自動的なネットワーク拡大と pruning が可能となり、固定サイズのネットワークや従来のハイパーパramータ探索手法と比較して、計算コストを抑えながらも高い精度を達成する。

ABSTRACT

Automatically determining the optimal size of a neural network for a given task without prior information currently requires an expensive global search and training many networks from scratch. In this paper, we address the problem of automatically finding a good network size during a single training cycle. We introduce *nonparametric neural networks*, a non-probabilistic framework for conducting optimization over all possible network sizes and prove its soundness when network growth is limited via an L_p penalty. We train networks under this framework by continuously adding new units while eliminating redundant units via an L_2 penalty. We employ a novel optimization algorithm, which we term *adaptive radial-angular gradient descent* or *AdaRad*, and obtain promising results.

研究の動機と目的

• 事前の知識や高コストなグローバルハイパーパramータ探索を必要とせずに、最適なニューラルネットワークサイズを自動的に選択する課題に対処すること。
• 複数回のフルトレーニングサイクルを繰り返さずに、1回のトレーニング実行中に動的なネットワーク拡大と pruning を可能にすること。
• ファンインまたはファンアウト重みに対するℓₚ正則化の下で、フレームワークの理論的整合性を示し、有限サイズの解への収束を保証すること。
• ネットワークサイズの効率的調整のため、径方向および角度方向ステップを適応的に調整する新しい最適化アルゴリズム AdaRad を開発すること。
• 非パラメトリックネットワークが、固定サイズネットワークおよび標準的なハイパーパラメータ探索手法よりも高いテスト精度を達成することを示すこと。

提案手法

• ネットワーク幅（各レイヤーのユニット数）を事前に固定せず、学習可能なハイパーパラメータとする非パラメトリックニューラルネットワークフレームワークを導入する。
• ネットワーク成長の上限を防ぎ、有限の最適サイズを保証するため、ファンインまたはファンアウトに対するℓₚ正則化（Ω_in または Ω_out）を適用する。
• 動的なネットワークサイズ変更中のトレーニングを安定化させるために、新しい正則化層 CapNorm を採用する。
• 径方向（重みの大きさ）と角度方向（方向）のステップを適応的に調整する最適化アルゴリズム AdaRad（Adaptive Radial-Angular Gradient Descent）を提案する。
• 2段階のトレーニング戦略を採用：まずユニットを追加してネットワークを拡大し、次にℓ₂正則化を用いて性能を維持したまま不要なユニットを pruning する。
• 収束後にリワインド機構を用い、ハイパーパラメータを精緻化する。徐々にステップサイズを小さくし、これ以上改善が得られなくなるまで繰り返す。

実験結果

リサーチクエスチョン

• RQ1 事前の知識や複数回のフルトレーニングサイクルを必要とせずに、1回のトレーニング実行中にニューラルネットワークが最適なサイズを自動的に特定できるか？
• RQ2 ℓ₂およびℓₚ正則化による動的なネットワーク拡大と pruning は、固定サイズネットワークよりも優れた一般化性能をもたらすか？
• RQ3 提案された AdaRad 最適化アルゴリズムは、ネットワーク拡大と pruning を効果的にバランスさせ、モデル精度を向上させることができるか？
• RQ4 ファンインまたはファンアウト重みに対するℓₚ正則化の下で、非パラメトリックフレームワークは理論的に整合的であり、有限サイズの最適解が保証されるか？
• RQ5 非パラメトリックネットワークの性能は、ランダムサーチやベイズ最適化などの標準的なハイパーパラメータ探索手法と比較してどうか？

主な発見

• 非パラメトリックネットワークは、同じサイズの固定サイズネットワークよりも高いテスト精度を達成しており、動的アーキテクチャ適応の利点を示している。
• ファンインまたはファンアウトに対するℓₚ正則化（λ > 0）を用いることで、有限サイズのネットワークでトレーニング誤差のグローバル最小値に収束することが保証される。
• AdaRad は、ネットワークサイズと重みの両方を効果的に最適化可能であり、Adam や RMSprop などの標準的最適化手法に比べ、動的環境下で優れた性能を示す。
• ポーカーデータセットでは、最良の非パラメトリックネットワークが1.44%のテスト誤差を達成し、最良の固定サイズネットワーク（1.52%）およびすべての標準的ハイパーパラメータ探索ベースラインを上回った。
• 非パラメトリックフレームワークが選択したネットワークサイズは、最良の性能を示した固定サイズネットワークよりも一貫して小さく、パラメータ効率が向上していることを示している。
• アブレーションスタディの結果、CapNormレイヤーとAdaRadアルゴリズムの両方が、非パラメトリック領域における安定的かつ効果的なトレーニングに不可欠であることが確認された。