[論文レビュー] A Generative Deep Recurrent Model for Exchangeable Data

Iryna Korshunova, Jonas Degrave+4 more|arXiv (Cornell University)|Feb 21, 2018

Gaussian Processes and Bayesian Inference参考文献 3被引用数 1

ひとこと要約

本論文では、交換可能な高次元データセットにおける正確なベイズ推論を可能にする生成的深層再帰モデルを提案する。置換不変性を保証し、変分近似を排除することで、線形時間の条件付き生成が可能となり、少数のサンプル学習、系列モデリング、異常検出のタスクで優れた性能を発揮する。

ABSTRACT

We present a novel model architecture which leverages deep learning tools to perform exact Bayesian inference on sets of high dimensional, complex observations. Our model is provably exchangeable, meaning that the joint distribution over observations is invariant under permutation: this property lies at the heart of Bayesian inference. The model does not require variational approximations to train, and new samples can be generated conditional on previous samples, with cost linear in the size of the conditioning set. The advantages of our architecture are demonstrated on learning tasks requiring generalisation from short observed sequences while modelling sequence variability, such as conditional image generation, few-shot learning, set completion, and anomaly detection.

研究の動機と目的

• 複雑で高次元の観測データセットにおける正確なベイズ推論をサポートする深層学習アーキテクチャの開発。
• モデルが証明可能な交換可能性を備え、観測の連合分布における置換不変性を維持すること。
• トレーニング中に変分近似に依存しないようにすることにより、より正確な推論を可能にすること。
• 条件付きセットのサイズに比例して線形に増加する計算コストで、新しいサンプルの効率的生成を可能にすること。
• 短い系列、系列の変動性、限られた監視情報を伴うタスクにおける一般化性能の向上を示すこと。

提案手法

• モデルは、入力の置換に対して不変性を保つ構造的制約をネットワークに課すことで、交換性を維持するように設計された深層再帰アーキテクチャを採用する。
• 再帰的処理を活用してセット内の要素間の依存関係をモデル化しつつ、重みの共有と対称的演算により交換性を保持する。
• 変分近似を用いずに正確なベイズ推論を実行し、モデルの構造的性質に依存して計算が実行可能となる。
• 条件付き生成は、事前に観測された要素に基づいて逐次的に新しい要素をサンプリングすることで達成され、複雑性は条件付きセットのサイズに線形に増加する。
• アーキテクチャは尤度最大化を用いてエンドツーエンドでトレーニングされ、ベイズ的原則と整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 深層再帰モデルは、変分近似を用いずに、交換可能な高次元データに対して正確なベイズ推論を達成できるか？
• RQ2 少数のサンプル学習およびセット補完タスクにおいて、短い観測系列からの一般化性能はどの程度高いか？
• RQ3 交換性は、系列の変動性のモデリングおよび異常検出のタスクにおいて、性能向上にどの程度寄与するか？
• RQ4 条件付き生成は効率的かつスケーラブルか？条件付きセットのサイズに比例して線形の計算コストか？

主な発見

• 変分近似を必要とせず、交換可能なデータセットに対して正確なベイズ推論を達成し、推論の正確性が向上した。
• 条件付きセットのサイズに比例して線形に増加する計算コストで効率的な条件付き生成が可能となり、スケーラブルな推論を実現した。
• 限られた学習系列でさえも、少数のサンプル学習およびセット補完タスクにおいて優れた一般化性能を示した。
• 交換可能なモデリングにより複雑な系列の変動性を捉える能力のおかげで、異常検出の性能が向上した。