[論文レビュー] Training Binary Neural Networks using the Bayesian Learning Rule

Xiangming Meng, Roman Bachmann+1 more|arXiv (Cornell University)|Feb 25, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用数 16

ひとこと要約

この論文では、勾配ベースの手法（例：Straight-Through Estimator, STE）の背後にある理論的根拠を明確にするため、バイアス付きバイナリニューラルネットワーク（BiNNs）を学習するためのベイジアン学習ルールに基づく手法であるBayesBiNNを提案する。バイナリ重みをベルヌーイ分布としてモデル化し、近似ベイジアン推論を用いることで、不確実性推定が可能となり、CIFAR-10、CIFAR-100、MNISTで最先端の性能を達成するとともに、事後分布に基づく事前分布を用いることで継続的学習における深刻な忘却の緩和を実現する。

ABSTRACT

Neural networks with binary weights are computation-efficient and hardware-friendly, but their training is challenging because it involves a discrete optimization problem. Surprisingly, ignoring the discrete nature of the problem and using gradient-based methods, such as the Straight-Through Estimator, still works well in practice. This raises the question: are there principled approaches which justify such methods? In this paper, we propose such an approach using the Bayesian learning rule. The rule, when applied to estimate a Bernoulli distribution over the binary weights, results in an algorithm which justifies some of the algorithmic choices made by the previous approaches. The algorithm not only obtains state-of-the-art performance, but also enables uncertainty estimation for continual learning to avoid catastrophic forgetting. Our work provides a principled approach for training binary neural networks which justifies and extends existing approaches.

研究の動機と目的

• バイナリニューラルネットワーク（BiNNs）の勾配ベースの学習に、理論的根拠が欠如している問題に対処すること。これは、離散最適化問題を含む。
• 既存の手法（例：STE や Bop）におけるアルゴリズム的選択を、明確なベイジアン最適化フレームワークを用いて正当化する方法を開発すること。
• バイナリニューラルネットワークを継続的学習に拡張し、事後分布の近似を用いた不確実性推定を可能にすること。
• 計算効率を維持しながら、標準ベンチマークで最先端の性能を達成すること。

提案手法

• この手法は、バイナリ重みをベルヌーイ分布でモデル化し、ベイジアン学習ルールを用いてこれらの重みの事後分布を近似する。
• 勾配の流れを可能にするために、温度制御されたtanh関数を用いて符号関数を微分可能に近似する。
• ベイジアン学習ルールに基づく変分推論フレームワークを用いて、事後の分布の確率的近似を実行する。
• 主な革新点は、継続的学習において、前のタスクの事後分布を次のタスクの事前分布として使用することにより、不確実性を考慮した適応を可能にすることである。
• 実数値パラメータの更新ルールには、適応的学習率のように機能するスケーリング項（s）が含まれる。これにより収束が改善される。
• 離散最適化を回避するため、問題を連続的かつ確率的推論タスクに緩和する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの手法（例：STE）がバイナリニューラルネットワークの学習に成功する理由を、理論的根拠を持つベイジアンフレームワークで説明できるか？
• RQ2 不確実性推定をバイナリニューラルネットワークの学習に統合することで、継続的学習の性能を向上させられるか？
• RQ3 既存手法（例：STE や Bop）におけるアルゴリズム的選択は、ベイジアン推論を用いて理論的に裏付けられるか？
• RQ4 バイナリ重みの事後分布を用いることで、継続的学習における深刻な忘却を緩和できるか？

主な発見

• BayesBiNNは、CIFAR-10、CIFAR-100、MNISTで最先端の性能を達成し、Adamを用いたSTEと同等またはわずかに優れている。
• バイナリ重みの事後分布を用いることで、不確実性推定が可能となり、学習タスクが増えるにつれて分布が集中（不確実性が低下）する。
• 入れ替えられたMNISTにおける継続的学習では、前のタスクの事後分布を事前分布として使用することで、深刻な忘却が顕著に軽減され、固定事前分布よりも優れた性能を示す。
• 重み確率のヒストグラムは、時間の経過とともにエントロピーが減少しており、経験を積むにつれて重みがより決定的になる（不確実性が低下する）ことを示している。
• 事後分布の近似を事前分布として使用することで、全タスクにわたり安定した性能が得られるが、固定事前分布では初期タスクの性能が急速に低下する。