[論文レビュー] BRUNO: A Deep Recurrent Model for Exchangeable Data

Iryna Korshunova, Jonas Degrave+4 more|arXiv (Cornell University)|Feb 21, 2018

Anomaly Detection Techniques and Applications被引用数 16

ひとこと要約

BRUNO は、高次元データの交換可能な集合に対して正確なベイズ推論を可能にする深層再帰的モデルであり、潜在空間への双方向写像を学習することで、その空間でスudent-t分布またはガウス過程を用いて交換可能性を強制する。変分近似を用いない線形時間の条件付き生成と学習が可能であり、少数のサンプル分類と頑健な異常検出の面で最先端の性能を示している。

ABSTRACT

We present a novel model architecture which leverages deep learning tools to perform exact Bayesian inference on sets of high dimensional, complex observations. Our model is provably exchangeable, meaning that the joint distribution over observations is invariant under permutation: this property lies at the heart of Bayesian inference. The model does not require variational approximations to train, and new samples can be generated conditional on previous samples, with cost linear in the size of the conditioning set. The advantages of our architecture are demonstrated on learning tasks that require generalisation from short observed sequences while modelling sequence variability, such as conditional image generation, few-shot learning, and anomaly detection.

研究の動機と目的

• 高次元観測値（例：画像や時系列）の集合に対して、証明可能な交換可能性を有する深層生成モデルの開発。
• 標準的なベイズ的ディープラーニングで一般的な事後分布の非可解性問題を避けるために、変分近似を用いずに正確なベイズ推論を可能にする。
• 条件付き観測値の集合に基づいて新しいサンプルを生成する条件付き生成を可能とし、条件付き集合のサイズに線形に比例する計算コストを実現する。
• 少数のサンプル学習、条件付き画像生成、オンライン異常検出などのデータ効率の良い学習シナリオにおけるモデルの有効性を示すこと。
• 多様なデータセットに対して交換可能性を設計に組み込むことで、暗黙的にベイズ的推論を学ぶメタラーニングフレームワークの提供。

提案手法

• 交換可能な系列として潜在特徴 $ z_i \in \mathcal{Z} $ をモデリングすることにより、交換可能性を強制する深層再帰ニューラルネットワークアーキテクチャである BRUNO を提案。
• 高次元観測値（例：画像）を、交換可能性が解析的に取り扱える潜在空間に写像する双方向ニューラルネットワーク $ \mathcal{X} \to \mathcal{Z} $ を使用。
• 潜在空間における予測分布 $ p(z_n | z_{1:n-1}) $ を明示的に定義し、高次元積分の計算を回避するため、解析的に取り扱えるようにする。
• 予測尤度を逆誤差伝搬することで、変分推論を用いずに微分可能な最適化が可能なエンドツーエンドの学習を実現。
• 実装の安定化のため、重み正則化とデータ依存初期化を用いた Real NVP コンポジション層を用いて、双方向写像の訓練を安定化。
• 条件付き生成は、$ p(x_n | x_{1:n-1}) $ から直接サンプリングすることで実現され、条件付き点数に線形に比例する計算量を有する。

実験結果

リサーチクエスチョン

• RQ1 複雑で高次元なデータに対して、証明可能な交換可能性を有するとともに正確なベイズ推論を可能にする深層ニューラルネットワークを設計できるか？
• RQ2 変分近似に依存せずに、交換可能な集合上で効率的（線形時間）な条件付き生成を実現する方法は何か？
• RQ3 生成的に訓練された交換可能なモデルが、少数のサンプル分類などの下流の識別的タスクにどの程度一般化できるか？
• RQ4 データが逐次的に到着し、集合との整合性を評価する必要があるオンライン異常検出タスクにおいて、モデルはどの程度の性能を示すか？
• RQ5 特に Student-t プロセスを用いる場合に、双方向写像と潜在プロセスのコンポONENTの訓練を安定化させるために必要な訓練のヒューリスティクスは何か？

主な発見

• 微分可能ファインチューニングを施した後、1ショット5ウェイの Omniglot 分類で97.1%の精度を達成し、5ショット5ウェイタスクでは99.4%の精度を示し、先行研究を上回った。
• ファインチューニングなしでも、86.3%（1ショット5ウェイ）の競争力のある性能を示し、生成的事前学習からの強力なゼロショット一般化能力を示した。
• 条件付き観測値の集合が与えられた場合、反復的サンプリングや変分近似を必要とせず、効率的かつ線形時間で新しいサンプルを生成可能である。
• Student-t プロセス（TP）を用いた学習は、ガウス過程（GP）よりもより頑健であり、特にノイズが多いまたは異常な訓練入力下でも安定した性能を示したが、適切な初期化のもとでは両者で同等の性能を達成した。
• 識別的ファインチューニングは、少数のサンプル分類精度を顕著に向上させたことから、生成的事前学習がメタラーニングのための有用なインダクティブバイアスを捉えていることが示された。
• 設計上交換可能性を備えたモデルは、隠れ状態が入力の順序や長さにかかわらず、すべての入力を統合するため、長時間系列や入力順序の変化に対して頑健である。