[論文レビュー] Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors

Soumya Ghosh, Jiayu Yao+1 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 32被引用数 27

ひとこと要約

本稿では、正則化されたホースシェーブ・プライアを用いた構造的変分推論を提案し、予測性能を維持したまま不要なノードを自動的にプルーニングすることで、ベイジアンニューラルネットワークの自動的モデル圧縮を可能にする。階層的プライアと事後分布の構造に配慮した近似により、特に強化学習のような低データ環境において、最先端のスパarsityと一般化性能を達成する。

ABSTRACT

Bayesian Neural Networks (BNNs) have recently received increasing attention for their ability to provide well-calibrated posterior uncertainties. However, model selection---even choosing the number of nodes---remains an open question. Recent work has proposed the use of a horseshoe prior over node pre-activations of a Bayesian neural network, which effectively turns off nodes that do not help explain the data. In this work, we propose several modeling and inference advances that consistently improve the compactness of the model learned while maintaining predictive performance, especially in smaller-sample settings including reinforcement learning.

研究の動機と目的

• ベイジアンニューラルネットワーク（BNN）のモデル選択、特に隠れユニットの最適数の選定という課題に取り組む。
• 過学習と高い不確実性が一般的な小標本設定、特に強化学習において一般化性能と予測性能を向上させる。
• 不要なノードを特定・削除することで、計算的に効率的な自動的ネットワーク圧縮手法を開発する。
• 従来の変分推論手法がBNNで抱える限界を克服し、重要な事後分布の依存関係を保持する。

提案手法

• ノードの事前活性化に正則化されたホースシェーブ・プライアを導入し、層間で共有されるグローバルなスケーリングとユニット固有のローカルスケールを組み合わせることで、自動的なスパarsityを実現する。
• 最適化の安定性を向上させ、局所最適解に陥るのを避けるために、ホースシェーブ・プライアの非センタードパrameterizationを採用する。
• 重みとハイパーパrameter間の依存関係を保持する構造的変分近似を採用し、事後分布近似の品質を向上させる。
• 事後分布の点要約を必要としない、新しいノードプルーニング用のしきい値ルールを適用し、直接的なモデル圧縮を可能にする。
• 半コーシー分布の再パラメータライゼーションに逆ガンマハイパーパラメータを用いることで、数値的安定性と収束性を向上させる。
• 構造的変分推論と再パラメータライゼーショントリックを組み合わせ、確率的勾配降下法によるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正則化されたホースシェーブ・プライアは、データ駆動型の自動的モデル選択を可能にし、不要なノードを特定・削除できるか？
• RQ2 ホースシェーブ・プライアを用いた構造的変分推論は、行列ガウス近似などの標準的変分手法と比較して、予測性能とモデルのcompactさの面で優れているか？
• RQ3 提案手法は、限られたロールアウト回数でのモデルベース強化学習のような低データ環境でも一般化性能を向上させるか？
• RQ4 提案されたノードプルーニング用のしきい値ルールは、事後分布の平均の点推定に依存する従来手法を上回る性能を発揮するか？
• RQ5 階層的プライアと構造的近似の組み合わせが、事後分布の不確実性のキャリブレーションと予測分散に与える影響は何か？

主な発見

• 複数のUCI回帰データセットにおいて、構造的正則化ホースシェーブBNN（reg-HS）は、行列ガウス変分法（VMG）と比較して同等または優れた予測性能を達成する。
• reg-HSモデルは、予測精度を損なわず、最大90％のノードをプルーニングすることで顕著なモデル圧縮を達成し、有効な自動アーキテクチャ選択を示した。
• 低データ環境（学習データの10％）において、reg-HSはVMGを上回る予測性能を示し、過学習と不確実性分散の低減に特に効果的である。
• 強化学習タスクでは、reg-HS BNNが平均報酬を高く（例：2Dマップでは995.4 vs. 975.4）し、テストRMSEも低く抑えられ、限られたデータからのポリシー学習が向上した。
• 提案されたしきい値ルールは、事後分布の点推定を必要とせず、不活性なノードを効果的に特定・削除でき、直接的かつ効率的なプルーニングを可能にした。
• プルーニング後の微調整による性能変化は最小限に抑えられ、構造的変分近似がすでに堅牢で圧縮されたモデルを生成していることを示している。