[論文レビュー] Learning Neural Networks with Adaptive Regularization

Han Zhao, Yao-Hung Hubert Tsai+2 more|arXiv (Cornell University)|Jul 14, 2019

Neural Networks and Applications参考文献 40被引用数 8

ひとこと要約

この論文は、Kronecker構造をもつ共分散行列をもつ行列-variate正規分布の事前分布を用いて、データに依存する相関を通じてニューロンが統計的強度を共有するのを促進する、深層ニューラルネットワークのための適応的正則化手法AdaRegを提案する。ブロック座標降下法を用いて閉形式の更新式を用いて事前分布のハイパーパrameterをデータから学習することで、スペクトルノルムと安定ランクを低減し、小規模データセットでの一般化性能が向上する。

ABSTRACT

Feed-forward neural networks can be understood as a combination of an intermediate representation and a linear hypothesis. While most previous works aim to diversify the representations, we explore the complementary direction by performing an adaptive and data-dependent regularization motivated by the empirical Bayes method. Specifically, we propose to construct a matrix-variate normal prior (on weights) whose covariance matrix has a Kronecker product structure. This structure is designed to capture the correlations in neurons through backpropagation. Under the assumption of this Kronecker factorization, the prior encourages neurons to borrow statistical strength from one another. Hence, it leads to an adaptive and data-dependent regularization when training networks on small datasets. To optimize the model, we present an efficient block coordinate descent algorithm with analytical solutions. Empirically, we demonstrate that the proposed method helps networks converge to local optima with smaller stable ranks and spectral norms. These properties suggest better generalizations and we present empirical results to support this expectation. We also verify the effectiveness of the approach on multiclass classification and multitask regression problems with various network structures.

研究の動機と目的

• 小規模データセットで訓練する際の深層ニューラルネットワークにおける過学習を軽減すること。
• 誤差逆伝播法を用いて、同じ層内のニューロン間の相関を活用し、統計的効率を向上させること。
• モデル重みと事前分布共分散構造の両方を学習するスケーラブルな最適化手法を開発すること。
• 学習済みモデルのスペクトルノルムと安定ランクを小さくすることで、一般化性能の向上を示すこと。
• 固定事前分布を避ける、経験ベイズにインspiredされた原理的で適応的な正則化フレームワークを提供すること。

提案手法

• 重みに行列-variate正規事前分布を導入し、共分散行列にKronecker積構造を用いて、ニューロン間の相関をモデル化する。
• 経験ベイズの原則を用いて、データから事前分布のハイパーパrameterを学習し、データ依存の正則化を実現する。
• モデル重みと事前分布の行・列共分散行列の更新を交互に繰り返す、効率的なブロック座標降下法を導出する。
• 重みと共分散の両更新に対して解析的解を提供し、近似誤差を回避する。
• 誤差逆伝播における勾配更新のランク1構造を活用し、Kronecker因子化を自然なモデリング選択として正当化する。
• 凸解析のツールを用いて尤度と事前分布の共同目的関数を最適化し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 データ依存的で適応的な正則化手法は、小規模データセットで訓練された深層ネットワークの一般化を向上させることができるか？
• RQ2 Kronecker構造をもつ事前分布を用いて重み行列内のニューロン間相関をモデル化することで、最適化と一般化が向上するか？
• RQ3 事前分布共分散をデータから学習する（固定しない）ことで、標準的な正則化と比較して性能が向上するか？
• RQ4 提案手法は、学習済み重み行列のスペクトルノルムと安定ランクを低減させることができるか？これは、より良い一般化を示唆する。
• RQ5 小規模データタスクにおいて、適応的正則化は、重み減衰、ドロップアウト、バッチ正規化といった標準ベースラインと比較してどのように差をつけるか？

主な発見

• AdaRegは、学習済み重み行列のスペクトルノルムと安定ランクを低減させ、一般化能力の向上を示している。
• 特に限られた学習データがある状況下で、マルチクラス分類およびマルチタスク回帰タスクにおいて、より優れた一般化性能を達成している。
• 実験結果から、同じ層内のニューロンが相関する重み更新を持つことが示され、モデルの共有統計的強度の仮定と整合的である。
• 学習済み事前分布共分散行列には意味のある構造が現れる：類似した数字（例：1と7）は正の相関を示し、不似合いな数字（例：1と8）は負の相関を示す。
• 閉形式の更新式を用いることで、近似誤差なしに効率的に収束する最適化アルゴリズムが実現され、スケーラブルな学習が可能である。
• 小規模データ環境において、標準的な正則化手法を上回る性能を示しており、適応的でデータ駆動の事前分布の利点が実証された。