[論文レビュー] A Statistical Theory of Deep Learning via Proximal Splitting

Nicholas G. Polson, Brandon T. Willard+1 more|arXiv (Cornell University)|Sep 20, 2015

Gaussian Processes and Bayesian Inference参考文献 42被引用数 4

ひとこと要約

本稿では、非凸・非滑らか正則化を用いた深層学習モデルの最適化にADMMを用いたプロキシマルスプリッティングフレームワークを提案する。これによりスパースな重み学習と効率的なハイパーパrameterチューニングが可能となる。本手法が分類性能を密なネットワークと同等に達成する一方で、予測MSEを用いたモデル選択と完全な正則化パスの提供を実現したことを示している。

ABSTRACT

In this paper we develop a statistical theory and an implementation of deep learning models. We show that an elegant variable splitting scheme for the alternating direction method of multipliers optimises a deep learning objective. We allow for non-smooth non-convex regularisation penalties to induce sparsity in parameter weights. We provide a link between traditional shallow layer statistical models such as principal component and sliced inverse regression and deep layer models. We also define the degrees of freedom of a deep learning predictor and a predictive MSE criteria to perform model selection for comparing architecture designs. We focus on deep multiclass logistic learning although our methods apply more generally. Our results suggest an interesting and previously under-exploited relationship between deep learning and proximal splitting techniques. To illustrate our methodology, we provide a multi-class logit classification analysis of Fisher's Iris data where we illustrate the convergence of our algorithm. Finally, we conclude with directions for future research.

研究の動機と目的

• プロキシマルスプリッティングとADMMを統合した最適化手法を用いて、深層学習の統計的理論を構築すること。
• ℓ¹などの非凸・非微分可能な正則化ペナルティを用いて、深層ネットワークの重みにスパarsityを実現すること。
• モデル選択のための自由度の測定と予測MSE基準を提供し、アーキテクチャ設計の多様な選択肢に対して適用可能とすること。
• Fisherのアヤメデータセットを用いた多クラスロジスティック回帰タスクにおいて、本手法の有効性を実証すること。
• 浅い統計モデル（例：PCA, SIR）と深層学習アーキテクチャとの間の関係をこのフレームワークで確立すること。

提案手法

• 変数分割と増強ラグランジュ法を用いて、深層学習の目的関数を制約付き最適化問題に再定式化する。
• 交替方向乗数法（ADMM）を用いて、パラメータと補助変数のブロックごとの並列更新を可能にする。
• 非微分可能なペナルティ（例：ℓ¹正則化）を処理するためのプロキシマル作用素を用い、スパースな重み学習を実現する。
• 非凸正則化をサポートし、スパarsityパラメータγwを変化させることで完全な正則化パスの計算が可能となる。
• ソフトマックスリンク関数を用いた深層多クラスロジスティックモデル（隠れ層10ユニット）を用いてアルゴリズムを実装する。
• 異なるアーキテクチャ設計を比較するため、予測平均二乗誤差（MSE）基準を用いてモデル選択を実施する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで非凸な正則化を用いた深層学習モデルの最適化に、プロキシマルスプリッティングとADMMを効果的に適用できるか。
• RQ2 多クラスロジスティックモデルにおけるℓ¹正則化は、深層ネットワーク重みの性能とスパarsityにどのように影響を与えるか。
• RQ3 自由度と予測MSEを用いて最適な深層学習アーキテクチャを選択できるか。
• RQ4 本フレームワーク下で、浅い統計モデル（例：PCA, SIR）と深層学習アーキテクチャとの間にどのような関係が存在するか。
• RQ5 プロキシマルADMMアプローチは、収束性とスケーラビリティの観点から、確率的勾配降下法の有効な代替手段となり得るか。

主な発見

• ℓ¹正則化を施した深層学習モデルは、重み行列がスパースであっても、密なモデル（γw = 0）と同等の分類精度を達成した。
• プライマルおよび双対の目的値が反復ごとに安定して収束しており、ADMMに基づくプロキシマル手法による最適化が安定していることが示された。
• γwの複数の値に対して、テスト分類率が高く維持された。特に、スパarsityが増加するに従い、非ゼロ重みの割合が減少した（表2参照）。
• 本手法は完全な正則化パスの計算に成功し、予測MSEを用いた体系的なハイパーパrameterチューニングが可能となった。
• アルゴリズムは「ありきたりに並列な」ブロック更新を示しており、効率的な分散実装の可能性を示唆した。
• 本手法は、自由度と予測MSEといった統計的根拠に基づくモデル選択を提供したが、これらは標準的な深層学習パイプラインでは一般的に用いられていない。