[論文レビュー] Bayesian Learning of Neural Network Architectures

Georgi Dikov, Patrick van der Smagt+1 more|arXiv (Cornell University)|Jan 14, 2019

Machine Learning and Algorithms参考文献 20被引用数 11

ひとこと要約

本稿では、コンcrete分布と変分推論を用いて、層サイズとネットワークの深さを学習可能な確率的変数として扱うベイジアンニューラルネットワークフレームワークを提案する。これにより、最小限の計算コストでエンドツーエンド微分可能なアーキテクチャ探索が可能となり、小規模データセットにおける汎化性能の向上と初期化に対するロバストネスが向上する。CIFAR-10において限られたデータで固定アーキテクチャを最大4%上回る性能を達成した。

ABSTRACT

In this paper we propose a Bayesian method for estimating architectural parameters of neural networks, namely layer size and network depth. We do this by learning concrete distributions over these parameters. Our results show that regular networks with a learnt structure can generalise better on small datasets, while fully stochastic networks can be more robust to parameter initialisation. The proposed method relies on standard neural variational learning and, unlike randomised architecture search, does not require a retraining of the model, thus keeping the computational overhead at minimum.

研究の動機と目的

• ニューラルネットワークアーキテクチャのハイパーパrameter探索における非効率性を解消すること。特に、繰り返し再訓練を要する従来の手法の問題を解決する。
• 層サイズや深さといったアーキテクチャハイパーパrameterをベイジアンフレームワーク内での確率的変数として、エンドツーエンドで学習可能にする。
• 各アーキテクチャ変更後に再訓練を回避することで、ランダムサーチや強化学習ベースのNASと比較して計算コストを低減する。
• 構造的なアーキテクチャ事前分布と事後分布推論を通じて、モデルの一般化性能とロバストネスを向上させる。
• 層サイズと深さに関する事後分布を通じて、アーキテクチャ意思決定の解釈可能性を提供する。

提案手法

• 層サイズとネットワークの深さを、パrameter化されたコンクリート（Gumbel-Softmax）分布を用いて確率的変数としてモデル化し、微分可能なサンプリングを可能にする。
• 効率性を高めるために、因子化された変分事後分布を用いて、アーキテクチャパラメータの事後分布を近似する変分推論を採用する。
• 離散的カテゴリカル分布の連続的リラクゼーションを用いて、バックプロパゲーションによる勾配ベースの学習を可能にする。
• 標準的なベイジアンニューラルネットワークと統合し、重みの不確実性をガウス的変分事後分布で維持する。
• 専門知識（例えば、フィルタ数の少ない構成やより深いネットワークの好ましさ）を反映させるために、アーキテクチャパラメータに事前分布を設定する。
• トレーニングおよび推論中に、アーキテクチャの連続的スケールからのサンプリングを可能にし、アンサンブルベースの正則化を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能な推論を用いたベイジアンフレームワーク内で、層サイズや深さといったアーキテクチャハイパーパrameterを効果的に学習できるか？
• RQ2 アーキテクチャパラメータのエンドツーエンド学習は、固定アーキテクチャと比較して、小規模データセットにおける一般化性能にどのように影響するか？
• RQ3 標準的なニューラルネットワークと比較して、本手法は重み初期化に対するロバストネスをどの程度向上させるか？
• RQ4 アーキテクチャパラメータの事後分布は、アーキテクチャの不適切な設定や最適な構成を明らかにできるか？
• RQ5 ランダムサーチや強化学習ベースのNASと比較して、本手法は効率性と性能の両面で優れているか？

主な発見

• 1,000件のトレーニングサンプルしか使用しないCIFAR-10データセットにおいて、適応的アーキテクチャ手法は、剛性のあるネットワーク（34.98% → 38.95%）と比較して、テスト精度を3.97ポイント向上させた。
• 適応的サイズネットワークは、縮小されたMNISTセットにおいて95.67%の精度を達成し、剛性ベースラインを1.20ポイント上回った。
• 適応的深さモデルは、縮小されたデータにおけるFashion-MNISTのテスト精度を80.32%から80.83%まで向上させ、初期化やデータ不足に対するロバストネスを示した。
• 層サイズと深さに関する事後分布は、アーキテクチャの容量に関する解釈可能なインサイトを提供し、不足適合や過適合の傾向を明らかにした。
• 再訓練を伴わず、微分可能なアーキテクチャ探索のおかげで、計算コストを低く抑えつつ顕著な性能向上を達成した。
• サンプルされたアーキテクチャからのアンサンブル予測は、過適合を軽減し、一般化性能を向上させる有効な正則化手段となった。