[論文レビュー] The Deep Weight Prior

Andrei Atanov, Arsenii Ashukha+3 more|arXiv (Cornell University)|Oct 16, 2018

Machine Learning and Data Classification被引用数 16

ひとこと要約

本論文は、特定のドメインにおける事前に訓練されたモデルから畳み込みフィルタ重みの暗黙的事前分布を学習するDeep Weight Prior（DWP）を紹介する。この手法により、ベイジアンニューラルネットワークに構造的なインダクティブバイアスを組み込むことができる。この暗黙的事前分布を変分推論と組み合わせることで、データが限られる状況下での一般化性能が向上し、重み初期化に用いることで学習が高速化され、Xavier初期化などの標準的なベースラインを上回る性能を発揮する。

ABSTRACT

Bayesian inference is known to provide a general framework for incorporating prior knowledge or specific properties into machine learning models via carefully choosing a prior distribution. In this work, we propose a new type of prior distributions for convolutional neural networks, deep weight prior (DWP), that exploit generative models to encourage a specific structure of trained convolutional filters e.g., spatial correlations of weights. We define DWP in the form of an implicit distribution and propose a method for variational inference with such type of implicit priors. In experiments, we show that DWP improves the performance of Bayesian neural networks when training data are limited, and initialization of weights with samples from DWP accelerates training of conventional convolutional neural networks.

研究の動機と目的

• ベイジアンニューラルネットワークにおける標準的事前分布の限界、特に畳み込みフィルタ重みの空間的相関を捉えられていない点を是正すること。
• 事前に訓練されたモデルからドメイン固有の方法で構造的なインダクティブバイアスをエンコードする柔軟で暗黙的な事前分布を構築すること。
• このような暗黙的事前分布を効果的に扱える変分推論フレームワークを提供し、データが少ない状況下での性能向上を実現すること。
• DWPを標準CNNにおける重み初期化戦略として活用し、収束速度と特徴抽出能力の向上を図ること。

提案手法

• Deep Weight Priorは、特定のデータドメイン（例えば画像データセットなど）内の事前に訓練された畳み込みフィルタの集合から学習された暗黙的分布として定義される。
• 生成モデルを用いてソースカーネル分布を推定し、訓練済みフィルタの統計的構造（例えば空間的相関）を暗黙的に捉える。
• 暗黙的事前分布を用いた近似的な事後分布推論を実現するための新規な変分推論フレームワークを提案。補助変数と再パラメータ化技術を活用する。
• ドメイン固有のインダクティブバイアスを反映する構造的事前分布を組み込んだ、エンドツーエンドのベイジアン畳み込みニューラルネットワークの訓練を可能にする。
• マーカフ連鎖の形で暗黙的事前分布を一般化し、より広範な応用可能性を実現する。
• フレームワークはベイジアン推論と、学習済みDWP分布からのサンプリングを用いた重み初期化の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 少数の事前に訓練された畳み込みフィルタから、ドメイン固有の構造的バイアスを効果的に学習できる暗黙的事前分布を構築できるか？
• RQ2 このような暗黙的事前分布を用いた変分推論は、データが限られる状況下でのベイジアン畳み込みネットワークの一般化性能をどのように向上させるか？
• RQ3 DWPからのサンプリングを用いた初期化は、微調整なしに標準CNNの学習を加速させ、特徴抽出能力を向上させられるか？
• RQ4 収束速度と精度の観点から、DWPは標準的事前分布や初期化手法と比べてどのように差をつけるか？

主な発見

• CIFAR-10およびMNISTで、訓練データが限られる状況下でも、DWPはガウス分布やラプラス分布といった標準的事前分布を上回る分類精度を実現する。
• DWPからのサンプリングを用いた標準CNNの初期化は、Xavier初期化に比べて収束が速く、より優れた特徴抽出が可能である。
• DWPベースの初期化は、大規模な事前に訓練されたフィルタのセットを保存する必要がないものの、学習済みフィルタ初期化と同等の性能を達成する。
• 本手法は暗黙的事前分布を用いた効果的な変分推論を可能にし、ベイジアンディープラーニングにおける構造的インダクティブバイアスの活用が可能であることを示している。
• 実験により、DWPはソースカーネル分布から意味のあるインダクティブバイアスを捕捉しており、モデルのロバスト性と一般化性能の向上に寄与している。