[論文レビュー] Missing Data Imputation and Acquisition with Deep Hierarchical Models and Hamiltonian Monte Carlo

Ignacio Peis, Chao Ma+1 more|arXiv (Cornell University)|Feb 9, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、混合型不完全データに対するハミルトニアン・モンテカルロ（HMC）推論を備えた深層階層的VAE、HH-VAEMを提案する。ガウス型変分基準と比較して、補完およびアクティブラーニングの両面で顕著な改善を達成する。階層的潜在構造とHMCサンプリング、自動ハイパーパramータチューニングを統合することで、HH-VAEMは後方分布近似バイアスを低減し、欠損データ補完、教師あり学習、逐次的特徴抽出の分野で優れた性能を発揮する。

ABSTRACT

Variational Autoencoders (VAEs) have recently been highly successful at imputing and acquiring heterogeneous missing data. However, within this specific application domain, existing VAE methods are restricted by using only one layer of latent variables and strictly Gaussian posterior approximations. To address these limitations, we present HH-VAEM, a Hierarchical VAE model for mixed-type incomplete data that uses Hamiltonian Monte Carlo with automatic hyper-parameter tuning for improved approximate inference. Our experiments show that HH-VAEM outperforms existing baselines in the tasks of missing data imputation and supervised learning with missing features. Finally, we also present a sampling-based approach for efficiently computing the information gain when missing features are to be acquired with HH-VAEM. Our experiments show that this sampling-based approach is superior to alternatives based on Gaussian approximations.

研究の動機と目的

• 既存のVAEが制限された1層の潜在構造とガウス型後方分布近似を用いる場合に示す、混合型不完全データ処理における限界を解消すること。
• ガウス型変分推論をハミルトニアン・モンテカルロ（HMC）サンプリングに置き換えることで、階層的VAEにおける近似推論バイアスを低減すること。
• ガウス型代替手法よりも正確に情報量の増加を推定できる、サンプリングに基づく情報取得戦略を開発すること。
• 欠損データ補完、欠損特徴を伴う教師あり学習、逐次的アクティブ特徴抽出の分野で、性能が向上することを実証すること。

提案手法

• 混合型データの複雑な依存関係をモデル化できる、複数層の潜在変数を持つ階層的VAE、HH-VAEMを提案する。
• 標準的なアンモトライズド変分推論に代えて、自動ハイパーパramータチューニングを施したハミルトニアン・モンテカルロ（HMC）を用い、真の後方分布からの低バイアスのサンプルを生成する。
• ヒストグラムを用いてガウス仮定を必要としない情報量の増加を計算することで、アクティブ特徴抽出のためのサンプリングベースの相互情報量推定戦略を実装する。
• 個々の特徴タイプごとのマージナルVAEと、特徴間の関係性をモデル化する依存関係VAEにデコーダーを分解し、混合データタイプの効果的処理を可能にする。
• HMCからの後方分布サンプルを用いて、未観測特徴の対数尤度のモンテカルロ近似を用いて補完に応用する。
• HMCに基づく後方分布近似を用いたELBO目的関数により、エンドツーエンドでモデルを学習し、不完全データに対する頑健な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 HMC推論を備えた階層的VAEは、混合型データセットにおける欠損データ補完において、標準VAEやガウス型変分基準を上回る性能を発揮できるか？
• RQ2 ガウス型後方分布近似をHMCサンプリングに置き換えることで、階層的VAEにおける推論バイアスが低減され、予測性能が向上するか？
• RQ3 アクティブラーニングにおける情報量増加推定に、サンプリングベースのアプローチを用いることで、ガウス型近似と比較して、逐次的特徴抽出の分野で優れた性能が得られるか？
• RQ4 特徴がランダムに欠損する状況下で、HH-VAEMは既存のベースラインと比較して、教師あり学習タスクでどのように性能を発揮するか？
• RQ5 階層的構造は、画像の穴埋めタスクにおいて、表現学習と補完品質の両面でどの程度向上効果をもたらすか？

主な発見

• HH-VAEMは、10のUCIデータセットおよびMNISTにおいて、VAE、H-VAE、MIWAE、HMC-VAE、VAEMのすべてのベースラインを上回る性能を示し、負の対数尤度の観点で一貫した改善を達成した。
• 欠損特徴を伴う教師あり学習において、HH-VAEMは評価されたすべてのデータセットで、すべてのベースラインと比較して予測の負の対数尤度が低く抑えられ、一般化性能の向上が示された。
• HH-VAEMを用いたサンプリングベースのアクティブ情報取得戦略は、UCIデータセットにおけるSAIA曲線から、ガウス型代替手法と比較して収束が早く、誤差率も低いことが示された。
• MNISTおよびCelebAにおける画像の穴埋めの定性的な結果から、HMCに基づくHH-VAE（HH-VAEMの変種）は、1層のガウス型またはHMCベースのモデルと比較して、より正確で一貫性のある再構成を生成することがわかった。
• 階層的構造とHMC推論の組み合わせにより、特に混合型かつ欠損値を含む複雑なデータにおいて顕著な性能向上が得られ、定量的・定性的な両方の結果から裏付けられた。
• HH-VAEMにおけるHMCベースの推論は、ガウス型変分推論と比較して後方分布近似バイアスを低減し、より信頼性の高い不確実性推定と優れた下流タスク性能をもたらした。