[論文レビュー] Boosted Generative Models

Aditya Grover, Stefano Ermon|arXiv (Cornell University)|Feb 27, 2017

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

この論文は、生成モデルの性能を段階的に向上させるために、以前の誤差を補正するモデルを訓練する新しいブースティングフレームワークを導入している。乗法的アンサンブル結合を用いる。生成モデルと識別モデルの両方を統合可能であり、ベンチマークデータセット全体で密度推定、分類、サンプル生成の性能が顕著に向上する。

ABSTRACT

We propose a novel approach for using unsupervised boosting to create an ensemble of generative models, where models are trained in sequence to correct earlier mistakes. Our meta-algorithmic framework can leverage any existing base learner that permits likelihood evaluation, including recent deep expressive models. Further, our approach allows the ensemble to include discriminative models trained to distinguish real data from model-generated data. We show theoretical conditions under which incorporating a new model in the ensemble will improve the fit and empirically demonstrate the effectiveness of our black-box boosting algorithms on density estimation, classification, and sample generation on benchmark datasets for a wide range of generative models.

研究の動機と目的

• 複雑なデータ分布を高精度に適合させることに限界を示す既存の生成モデルの課題に対処する。
• もともと教師あり学習で使われてきたブースティングの原則を、教師なしの生成モデリングに拡張し、モデルの誤差を段階的に是正可能にする。
• 多様な生成モデルと識別モデルを統合できる柔軟でブラックボックス型のメタアルゴリズムを開発する。
• 乗法的ブースティングにおけるモデル性能向上の理論的保証を提供し、特定の条件下で収束を保証する。
• 密度推定、分類、サンプル生成のタスクにおいて、ベースラインモデルおよび加法的ブースティングよりも優れた実験的性能を示す。

提案手法

• 最終モデルの密度が中間モデルの密度の積として表される乗法的ブースティングフレームワークを提案する。これにより、階層的な誤差是正が可能になる。
• 各ブースティングラウンドで、実データとモデルが生成したサンプルとの密度比に基づいて重み付けされた訓練データを用いる。
• 実データと生成データを区別するように訓練された識別モデル（例：二値分類器）を統合し、その出力を訓練サンプルの再重み付けに使用する。
• アンサンブルをエキスパートの積（product-of-experts）モデルとして定式化し、各エキスパートは生成モデルまたは識別モデルであり、全体の尤度適合を改善するように訓練される。
• 尤度評価が可能な任意の基本生成モデル（例：変分オートエンコーダ、和積ネットワーク、混合モデル）を弱学習器として使用可能にする。
• GenBGM（生成ブースティング）とDiscBGM（識別ブースティング）の2つのアルゴリズムを導入し、分類器の不完全性を反映するための柔軟なモデル重みを導入する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングは、モデル容量と適合性を向上させるために、教師なしの生成モデリングに効果的に適応可能か？
• RQ2 乗法的ブースティングは、どの理論的条件下で、繰り返しのラウンドにおいてアンサンブル性能の向上を保証するか？
• RQ3 実データと生成データを区別するように訓練された識別モデルは、生成アンサンブルフレームワークに意味的に統合可能か？
• RQ4 密度推定および生成タスクにおけるモデル適合性と一般化性能の観点から、乗法的ブースティングは加法的ブースティングと比べてどのように異なるか？
• RQ5 このブラックボックス型ブースティングフレームワークは、深く表現力のあるモデルを含む多様な生成モデルの性能をどの程度向上できるか？

主な発見

• 乗法的ブースティングフレームワークは、前のアンサンブルメンバーの誤差を補正するように段階的にモデルを訓練することで、尤度推定の適合性を向上させる。
• 実験結果から、提案フレームワークは複数のベンチマークデータセットにおける密度推定タスクで、ベースラインモデルおよび加法的ブースティングを上回ることが示された。
• 実データと生成データを区別するように訓練された識別モデルは、アンサンブルに効果的に統合可能であり、全体の性能向上に寄与する。
• フレームワークは生成分類およびサンプル生成において優れた性能を示し、生成サンプルの忠実性と多様性が向上した。
• 理論的分析により、新たなモデルをアンサンブルに追加する際、真のデータ分布へのKullback-Leibler発散を減少させる条件が確立された。
• このアプローチは柔軟かつ汎用的であり、パラメトリックモデルおよびノンパラメトリックモデルをサポートする。また、正規化フローを用いて自己正規化サンプリングに拡張可能である。