[論文レビュー] Stochastic Maximum Likelihood Optimization via Hypernetworks

Abdul-Saboor Sheikh, Kashif Rasul+2 more|arXiv (Cornell University)|Dec 4, 2017

Neural Networks and Applications参考文献 19被引用数 7

ひとこと要約

この論文は、ハイパーネットワークが暗黙的分布を介してモデル重みを生成することにより、ニューラルネットワークにおける確率的最尤最適化手法を提案する。ハイパーネットワークを、確率的勾配降下法を用いて条件付き尤度を最大化するように訓練することで、回帰および分類のベンチマークで競争的な性能を達成し、標準的なSGDを上回り、最新のベイズ的手法と同等の性能を発揮する。また、明示的な事後分布近似を用いずに、複雑なパrameter依存関係をモデル化可能である。

ABSTRACT

This work explores maximum likelihood optimization of neural networks through hypernetworks. A hypernetwork initializes the weights of another network, which in turn can be employed for typical functional tasks such as regression and classification. We optimize hypernetworks to directly maximize the conditional likelihood of target variables given input. Using this approach we obtain competitive empirical results on regression and classification benchmarks.

研究の動機と目的

• ニューラルネットワーク重みのスケーラブルでベイズ的でない最適化手法を開発し、ハイパーネットワークを用いてパラメータ分布をモデル化すること。
• ポイント推定ではなく、構造的かつ高容量な分布を学習することで、一般化性能と不確実性推定を向上させること。
• 入力に対して出力の条件付き尤度を直接最適化することで、勾配ベースの方法によるエンドツーエンド学習を可能とすること。
• 多様な回帰および分類ベンチマークにおいて、標準的なSGDおよび最新のベイズ的ディープラーニング手法と比較して、競争的な性能を示すこと。

提案手法

• この手法は、標準分布から抽出されたノイズ変数εを変換することで、メインニューラルネットワークの重みをハイパーネットワークが生成する。
• ハイパーネットワークの出力は、再パラメータ化トリックを用いた勾配ベース最適化が可能な暗黙的分布w = g(ε; Θ)としてモデル化される。
• 目的関数は、入力に対して出力の周辺化された条件付き対数尤度であり、複数の重みサンプルを用いたモンテカルロサンプリングにより近似される。
• ハイパーネットワークパラメータΘを最適化するために確率的勾配降下法が適用され、学習中はメインネットワークが予測に使用される。
• ハイパーネットワークのアーキテクチャにより、ネットワーク重み間の任意の依存関係をモデル化可能であり、因子化または非構造的事前分布の制限を回避できる。
• 標準ベンチマークを用いた回帰および分類タスクで評価され、SGD、ベイズベースライン、変分推論手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークを用いたニューラルネットワーク重みの暗黙的分布は、標準的な最尤学習と比較して、一般化性能および予測性能を向上させることができるか？
• RQ2 本手法は、テスト誤差および不確実性キャリブレーションの観点で、確立されたベイズ的ディープラーニング手法と比較してどのように異なるか？
• RQ3 明示的な事後分布近似を用いずに、ハイパーネットワーク内の暗黙的分布が、複雑で高次元のパrameter依存関係をどの程度正確にモデル化できるか？
• RQ4 ハイパーネットワークに対して確率的勾配降下法を用いて条件付き尤度を直接最適化することで、ポイント推定最適化に比べて収束性およびロバスト性が向上するか？

主な発見

• エネルギー・データセットでは、本手法が0.87 ± 0.10のテストRMSEを達成し、標準的なSGD（0.95 ± 0.13）を上回り、他のベイズベースラインと同等またはそれを上回った。
• ヨット・データセットでは、本手法が0.57 ± 0.21のRMSEを達成し、SGD（0.77 ± 0.25）およびPBPやドロップアウトを含む他の手法を著しく上回った。
• プロテイン・データセットでは、本手法が4.65 ± 0.19のRMSEを達成し、標準的なSGD（4.37 ± 0.03）を上回り、最良のベイズ手法と同等の性能を示した。
• MNISTでは、2×400アーキテクチャで1.26%の誤差を達成し、標準的なSGD（1.43%）を上回り、他のベイズ的手法および正則化手法と同等またはそれを上回った。
• より深いアーキテクチャ（3×750）では、1.49%の誤差を達成し、標準的なSGD（1.71%）を上回り、全テストアーキテクチャで強力な性能を示した。
• 重み分布の進化の可視化では、訓練エポックにわたり一貫した拡散が観察され、データセットごとに異なる軌道を示しており、パラメータ不確実性の適応的学習が行われていることが示された。