[論文レビュー] Indian Buffet Neural Networks for Continual Learning

Samuel Kessler, Vu Nguyen+2 more|arXiv (Cornell University)|Dec 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 7

ひとこと要約

本論文は、継続的学習におけるネットワークの複雑さを自動的・動的に調整できるようにするため、ベイジアンニューラルネットワーク（BNN）の構造にインド・ブッフェット過程（IBP）事前分布を導入する。階層的IBP（H-IBP）を用いて層間で構造的事前分布を共有し、ベルヌーイ分布およびベータ分布の再パラメータライゼーションを用いたオンライン変分推論を適用することで、タスク間でリソース割り当てを適応的に制御し、過学習および未学習の問題を軽減しながら、継続的学習ベンチマークで競争力ある性能を達成する。

ABSTRACT

We place an Indian Buffet process (IBP) prior over the structure of a Bayesian Neural Network (BNN), thus allowing the complexity of the BNN to increase and decrease automatically. We further extend this model such that the prior on the structure of each hidden layer is shared globally across all layers, using a Hierarchical-IBP (H-IBP). We apply this model to the problem of resource allocation in Continual Learning (CL) where new tasks occur and the network requires extra resources. Our model uses online variational inference with reparameterisation of the Bernoulli and Beta distributions, which constitute the IBP and H-IBP priors. As we automatically learn the number of weights in each layer of the BNN, overfitting and underfitting problems are largely overcome. We show empirically that our approach offers a competitive edge over existing methods in CL.

研究の動機と目的

• 固定されたニューラルネットワークアーキテクチャが継続的学習において直面する課題に対処すること。固定された容量は、深刻な忘却や非効率を引き起こす。
• 手動でのアーキテクチャ設計なしに、タスク間でネットワークパラメータの自動的増加および刈り取りを可能にすること。
• タスクの要件に応じてモデルの複雑さを動的に調整することで、一般化性能を向上させ、過学習および未学習の問題を軽減すること。
• スケーラブルでオンライン推論が可能なフレームワークを開発し、構造的ベイジアン事前分布を用いた継続的学習を支援すること。

提案手法

• ベイジアンニューラルネットワークの重みにインド・ブッフェット過程（IBP）事前分布を適用し、データ駆動型の隠れユニットの自動的増加を可能にする。
• IBPを階層的IBP（H-IBP）に拡張し、すべての隠れ層にわたり構造的事前分布をグローバルに共有することで、パラメータの効率性と一貫性を向上させる。
• IBPおよびH-IBP事前分布の効率的後方分布近似のため、オンライン変分推論と再パラメータライゼーションを採用する。
• ベルヌーイ分布およびベータ分布の再パラメータライズド勾配を用いて、微分可能な推論によるエンドツーエンドの学習を可能にする。
• データの複雑さに応じて、タスクごとに各層の有効な重み数を学習することで、リソースを動的に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 IBP事前分布は、アーキテクチャの事前指定なしに、継続的学習におけるネットワーク容量のデータ駆動型増加を可能にするか？
• RQ2 層間で階層的構造的事前分布を共有することで、継続的学習におけるモデル性能およびパラメータ効率性にどのような影響を与えるか？
• RQ3 再パラメータライズドIBP事前分布を用いたオンライン変分推論は、継続的学習のシナリオにおいて過学習および未学習をどの程度軽減するか？
• RQ4 提案手法は、既存の継続的学習ベースラインと比較して、精度および適応性の面でどのように差をつけるか？

主な発見

• モデルは各層の有効な重み数を自動で学習し、幅の手動設計やハイパーパramータチューニングの必要性を排除する。
• H-IBPの導入により、層全体にわたる一貫性があり効率的な構造的事前分布が実現され、一般化性能の向上と冗長性の低減が達成される。
• 再パラメータライズドIBPおよびH-IBP事前分布を用いたオンライン変分推論により、継続的学習中にスケーラブルかつリアルタイムな適応が可能になる。
• 実験的結果では、既存の継続的学習手法と比較して競争力ある性能を示し、過学習および未学習の問題が軽減されている。