[論文レビュー] Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning

Samuel Kessler, Vu Nguyen+2 more|arXiv (Cornell University)|Dec 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 10

ひとこと要約

本論文は、継続的学習における自動的・データ駆動的なネットワーク複雑度の適応を可能にする、インド・バーベッジ過程（IBP）および階層的IBP（H-IBP）を事前分布に用いたベイジアンニューラルネットワーク（BNN）を提案する。再パラメータライズド・ベルヌーイ分布およびベータ分布を用いたオンライン変分推論により、モデルは隠れ層のニューロンを動的に拡張または縮小可能であり、災難的忘却やリソースの無駄遣いを克服し、MNISTの変種において優れた性能を達成する。従来手法に比べ、重みのプルーニングに対する耐性が向上している。

ABSTRACT

We place an Indian Buffet process (IBP) prior over the structure of a Bayesian Neural Network (BNN), thus allowing the complexity of the BNN to increase and decrease automatically. We further extend this model such that the prior on the structure of each hidden layer is shared globally across all layers, using a Hierarchical-IBP (H-IBP). We apply this model to the problem of resource allocation in Continual Learning (CL) where new tasks occur and the network requires extra resources. Our model uses online variational inference with reparameterisation of the Bernoulli and Beta distributions, which constitute the IBP and H-IBP priors. As we automatically learn the number of weights in each layer of the BNN, overfitting and underfitting problems are largely overcome. We show empirically that our approach offers a competitive edge over existing methods in CL.

研究の動機と目的

• 固定されたネットワークアーキテクチャでは、過学習や未学習のリスクが生じる継続的学習における動的リソース割り当ての課題に対処すること。
• 構造的事前分布を用いたベイジアン推論により、逐次的タスク学習における災難的忘却を克服すること。
• 非パrametricベイジアン事前分布を用いて、データ駆動的なネットワーク複雑度の自動的増大およびプルーニングを実現すること。
• 原理的ベイジアンフレームワークを用いて、拡張ベースと正則化ベースの継続的学習手法のギャップを埋めること。

提案手法

• 隠れ層ごとの二値接続行列Zにインド・バーベッジ過程（IBP）事前分布を適用し、自動的なニューロン選択を可能にする。
• IBPを階層的IBP（H-IBP）に拡張し、全層にわたり構造的事前分布を共有することで、一貫性と一般化性能を向上させる。
• ベルヌーイ分布およびベータ分布の再パラメータライズド変分推論を用いて、効率的で逐次的な学習を実現する。
• BNNの重みを独立した正規分布からの抽出とみなしつつ、ベイジアン更新を逐次的に適用して事後分布を更新する。
• IBPのためのコンクリート近似を用い、二値行列Zの微分可能なサンプリングと学習を可能にする。
• 閾値（z_k > 0.1）を用いたニューロン活性化を定義することで、解釈可能でトレーニング可能な構造発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークは、継続的学習中にタスクの難易度に応じて隠れ層の複雑度を自動で調整できるか？
• RQ2 ネットワーク構造に共有される階層的事前分布は、継続的学習における一般化性能の向上と過学習の防止にどのように寄与するか？
• RQ3 提案手法は、正確性と耐性の観点で、従来のベイジアンおよび拡張ベースの継続的学習手法をどの程度上回るか？
• RQ4 IBP/H-IBP事前分布を用いた再パラメータライズド変分推論の使用は、重みの分散推定とプルーニング耐性の向上に寄与するか？

主な発見

• 提案手法は、Split MNIST CL1で平均95.1% ± 1.1のテスト精度を達成し、強力なBSCLベースライン（95.2% ± 1.5）と同等の性能を示した。
• 信号対雑音比（|μ|/σ）を用いた重みプルーニングにおいて、95.0% ± 0.0の精度を示し、BSCLの98.0% ± 0.1を上回る耐性を示した。
• BSCLが追加の学習可能なパラメータ（p_k）を用いているのに対し、提案手法はより単純で原理的であるベイジアン構造を用いて同等の性能を達成した。
• 変分パラメータαは、各タスクごとに増加し、適応的拡張を反映している。一方、BSCLは同様のαの増加を示すが、それに伴うニューロン活性化は見られない。
• 過去のZ行列の保存を避け、代わりに逐次的ベイジアン更新に依存することで、BSCLのパラメータ保存戦略に比べてメモリ使用量を削減した。
• H-IBP事前分布は、より規則的で安定したネットワーク構造をもたらし、逐次学習における一般化性能の向上と過学習の低減に寄与した。