[論文レビュー] Partially Exchangeable Networks and Architectures for Learning Summary Statistics in Approximate Bayesian Computation

Samuel Wiqvist, Pierre Alexandre Mattei+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Jan 29, 2019

Gaussian Processes and Bayesian Inference被引用数 14

ひとこと要約

この論文は、マルコフ連鎖および交換可能データにおけるブロックスイッチ不変性という確率的対称性を活用する深層学習アーキテクチャ、部分的交換可能ネットワーク（PENs）を導入する。PENsは、近似ベイズ推論（ABC）のための情報量豊富な要約統計量を自動で学習する。PENsは、時系列および静的モデルにおいて、MLP や DeepSets よりも 10〜100 倍のデータ効率で優れた事後分布推定精度を達成する。

ABSTRACT

We present a novel family of deep neural architectures, named partially exchangeable networks (PENs) that leverage probabilistic symmetries. By design, PENs are invariant to block-switch transformations, which characterize the partial exchangeability properties of conditionally Markovian processes. Moreover, we show that any block-switch invariant function has a PEN-like representation. The DeepSets architecture is a special case of PEN and we can therefore also target fully exchangeable data. We employ PENs to learn summary statistics in approximate Bayesian computation (ABC). When comparing PENs to previous deep learning methods for learning summary statistics, our results are highly competitive, both considering time series and static models. Indeed, PENs provide more reliable posterior samples even when using less training data.

研究の動機と目的

• 手動で選択された要約統計量が一般的であるが、最適でないApproximate Bayesian Computation（ABC）において、情報量豊富でデータ駆動型の要約統計量を構築する課題に対処すること。
• 時系列データにおける部分的交換可能性およびマルコフ構造を明示的に表現するニューラルアーキテクチャを開発し、ABC推定を改善すること。
• 確率的対称性を内蔵することで、大規模な訓練データへの依存を軽減し、データ効率を向上させること。
• i.i.d. データにとどまらない動的でマルコフ的および非マルコフ的時系列データに対しても深層学習の適用範囲を拡大すること。
• PENsが既存のABCにおける深層学習手法を、特に低データ環境下で上回ることを実証すること。

提案手法

• 部分的交換可能性を特徴づけるブロックスイッチ変換に対して不変であるように設計された、新しいニューラルアーキテクチャ、部分的交換可能ネットワーク（PENs）を提案する。
• 各ブロックが入力のセグメントを処理する階層的アーキテクチャを構築し、最終的な表現がブロックの順列変更に対して不変となるようにすることで、対称性を意識した特徴抽出を実現する。
• 任意のブロックスイッチ不変関数は、PEN に類似した表現を持つことを示し、このような対称性に対してPENのアーキテクチャ的完全性を確立する。
• PENsを用いてABCにおける要約統計量を学習する。具体的には、生データからパrameter同定に寄与する情報を保持する低次元の情報量豊富な要約に写像するニューラルネットワークを訓練する。
• ABCの再帰的サンプリングを用い、リファレンストラブルを活用して、MLP や DeepSets などの異なる要約統計量手法の事後分布近似を比較する。
• ABC受容基準にマハラノビス距離と一様カーネルを用い、計算予算を一定に保つために距離のx百分位数を閾値として設定する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ時系列データにおける部分的交換可能性を明示的に表現するように設計された深層ニューラルネットワークアーキテクチャは、ABC推定を改善できるか？
• RQ2 ABCの要約統計量を学習する際、PENsのデータ効率は、標準的なMLP や DeepSets と比べてどの程度優れているか？
• RQ3 PENsは、マルコフ性を満たさない非マルコフ時系列データ（例：MA(2)過程）に対しても一般化可能か、すなわち厳密なマルコフ仮定の違反に対しても頑健か？
• RQ4 訓練データが限られた環境下で、PENアーキテクチャは既存の深層学習手法をどの程度上回るか？
• RQ5 PENアーキテクチャはDeepSetsの一般化であるか？また、動的データへの拡張を可能にしつつ、同じ不変性特性を保持しているか？

主な発見

• PENsは、時系列および静的モデルの両方で、MLP や DeepSets と同等またはそれ以上の事後分布推定精度を達成する。
• PENsは、MLP よりも訓練データサイズを10〜100倍小さくすることで、顕著なデータ効率の向上を示す。
• AR(2)モデルにおいて、PEN-10はMLPでパラメータ数が多くても上回る性能を示し、PENsが対称性をより効果的に学習していることを示す。
• 非マルコフ的MA(2)モデルに対しても、PEN-10は依然として優れた性能を発揮しており、厳密なマルコフ仮定の違反に対しても頑健であることが示唆される。
• PEN-0（PENsの特殊ケース）は、正確にDeepSetsアーキテクチャに一致しており、PENsが部分的交換可能データへのDeepSetsの一般化であることを確認する。
• データが不足する環境下では、PENsとMLPの性能差が拡大し、特にパラメータ数が制限された状況でMLPが過学習するのに対し、PENsは精度を維持する。