[論文レビュー] Indian Buffet Process Deep Generative Models

Sotirios Chatzis|arXiv (Cornell University)|Feb 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 4

ひとこと要約

本稿では、インド・バーバー過程（IBP）事前分布を組み合わせることで、深層生成モデルにおける潜在的特徴次元のデータ駆動型推論を可能にする深層生成モデルを提案する。ブラックボックス変分推論とIBP事前分布を組み合わせることで、関連する潜在的特徴の数を自動的に特定し、半教師あり分類ベンチマークにおいて最先端のモデルを上回る性能を発揮する。

ABSTRACT

Deep generative models (DGMs) have brought about a major breakthrough, as well as renewed interest, in generative latent variable models. However, an issue current DGM formulations do not address concerns the data-driven inference of the number of latent features needed to represent the observed data. Traditional linear formulations allow for addressing this issue by resorting to tools from the field of nonparametric statistics: Indeed, nonparametric linear latent variable models, obtained by appropriate imposition of Indian Buffet Process (IBP) priors, have been extensively studied by the machine learning community; inference for such models can been performed either via exact sampling or via approximate variational techniques. Based on this inspiration, in this paper we examine whether similar ideas from the field of Bayesian nonparametrics can be utilized in the context of modern DGMs in order to address the latent variable dimensionality inference problem. To this end, we propose a novel DGM formulation, based on the imposition of an IBP prior. We devise an efficient Black-Box Variational inference algorithm for our model, and exhibit its efficacy in a number of semi-supervised classification experiments. In all cases, we use popular benchmark datasets, and compare to state-of-the-art DGMs.

研究の動機と目的

• 深層生成モデル（DGM）が固定された事前指定された潜在的特徴数を必要とするという制限を解消すること。
• 非パラメトリックベイズ的手法、特にインド・バーバー過程（IBP）を現代の深層生成モデルに拡張し、柔軟でデータ駆動型の潜在次元推論を可能にすること。
• 複雑な深層アーキテクチャにスケーラブルでありながら、IBPの非パラメトリック特性を維持する効率的な推論アルゴリズムを開発すること。
• 提案手法をベンチマークとしての半教師あり分類タスクに適用し、最先端のDGMと性能を比較すること。

提案手法

• 深層生成モデルにおける潜在的特徴にインド・バーバー過程（IBP）事前分布を導入し、上限のない、データに適応した特徴数を可能にする。
• 深層ニューラルネットワークを用いて生成プロセスをパラメータ化し、学習された非線形変換を通じて潜在的特徴を観測データにマッピングする。
• 不確実な潜在変数およびモデルパラメータの後向き分布を近似するためにブラックボックス変分推論（BBVI）を適用する。
• IBPによって誘発される離散的特徴の性質にもかかわらず、勾配ベース最適化を可能にするために再パラメータライゼーションテクニックを用いる。
• 変分推論フレームワークにおける効率的な勾配推定を可能にするために、IBP事前分布の微分可能な緩和を導出する。
• 大規模なベンチマークデータセットにスケーリング可能な推論手順を実現するために確率的最適化を採用する。

実験結果

リサーチクエスチョン

• RQ1 インド・バーバー過程は、深層生成モデルに効果的に統合可能であり、潜在的特徴数の自動推論を可能にするか？
• RQ2 提案手法のIBPに基づくDGMは、固定次元のDGMと比較して、半教師あり学習タスクでどのように性能を発揮するか？
• RQ3 ブラックボックス変分推論の使用は、IBP事前分布を備えたDGMのスケーラブルで効果的な学習を可能にするか？
• RQ4 IBPによるデータ駆動型特徴選択は、モデルの一般化性能にどのような影響を及えるか？

主な発見

• 提案手法は、データから関連する潜在的特徴数を直接推論でき、手動での指定が不要であることを確認した。
• 最先端の深層生成モデルと比較して、半教師あり分類ベンチマークで競争的または優れた性能を達成した。
• ブラックボックス変分推論により、事前分布の複雑さにもかかわらず、IBP事前分布を備えた深層生成モデルの効果的かつスケーラブルな学習が可能となった。
• IBPと深層アーキテクチャの統合により、特にデータが少ない状況下で一般化性能が向上した。