[論文レビュー] Implicit Generation and Modeling in Energy-Based Models

Yilun Du, Igor Mordatch|arXiv (Cornell University)|Jan 1, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用数 168

ひとこと要約

本論文は、連続的ニューラルネットワークにおけるエネルギーモデル（EBM）のスケーラブルなMCMCベースの学習を提示し、ImageNetおよびロボット軌道データにおいて高品質な暗黙的生成を可能にした。本手法は、サンプル品質、分布外検出、敵対的ロバストネス、および長時間スパンの軌道予測において最先端の性能を達成し、EBMが多様な学習タスクにおいて汎用性を示していることを示した。

ABSTRACT

Energy based models (EBMs) are appealing due to their generality and simplicity in likelihood modeling, but have been traditionally difficult to train. We present techniques to scale MCMC based EBM training on continuous neural networks, and we show its success on the high-dimensional data domains of ImageNet32x32, ImageNet128x128, CIFAR-10, and robotic hand trajectories, achieving better samples than other likelihood models and nearing the performance of contemporary GAN approaches, while covering all modes of the data. We highlight some unique capabilities of implicit generation such as compositionality and corrupt image reconstruction and inpainting. Finally, we show that EBMs are useful models across a wide variety of tasks, achieving state-of-the-art out-of-distribution classification, adversarially robust classification, state-of-the-art continual online class learning, and coherent long term predicted trajectory rollouts.

研究の動機と目的

• 高次元連続データにおけるエネルギーモデル（EBM）の学習という長年の課題に取り組む。これは計算コストとサンプリングの困難さに起因する。
• ImageNet やロボットハンドの軌道などの複雑なデータ分布に対して、EBMにおける効果的な暗黙的生成を可能にする。
• EBMが生成品質においてGANと同等の性能を達成し、すべてのデータモードをカバーできることを示す。
• 生成を超えた応用として、分布外検出、敵対的ロバストネス、継続的学習におけるEBMの有効性を検証する。
• 統一されたEBMフレームワーク内での、合成性やインpainting（穴埋め）といった暗黙的生成の独自の能力を調査する。

提案手法

• 連続的ニューラルネットワークにおけるEBMのMCMCベースの学習を採用し、高次元空間におけるスケーラブルな最適化を実現する。
• スコアベースの生成モデルの原則を活用し、EBM学習におけるサンプリング効率と学習安定性を向上させる。
• 明示的な尤度計算を避けるために、ノイズ対比推定に類似した目的関数を用いてエネルギー関数を近似する。
• MCMCサンプリングとニューラルネットワークのパrameter化を統合し、大規模データセットにおけるエンドツーエンド学習を可能にする。
• 学習済みEBMを、分布外検出や敵対的に訓練された分類タスクなどの下流タスクに応用する。
• 暗黙的モデル構造を活用し、明示的なデコーダーなしに合成性や画像再構築タスクを実行する。

実験結果

リサーチクエスチョン

• RQ1 MCMCベースのEBM学習は、ImageNet やロボット軌道などの高次元データにスケーラブルに拡張可能か？
• RQ2 EBMに基づく暗黙的生成のサンプル品質は、尤度ベースのモデルやGANと比べてどの程度か？
• RQ3 明示的な生成ヘッドなしに、EBMがどの程度の合成性生成や画像インpainting（穴埋め）を可能にするか？
• RQ4 EBMは、分布外検出および敵対的ロバストネスにおいて最先端の性能を達成できるか？
• RQ5 EBMは、継続的オンラインクラス学習および長期的軌道予測においてどの程度効果的か？

主な発見

• 提案されたMCMCベースのEBM学習は、ImageNet32x32およびImageNet128x128において、現代のGANや他の尤度ベースのモデルと同等またはそれ以上のサンプル品質を達成した。
• モデルはデータ分布のすべてのモードを正しくカバーしており、生成モデルに一般的なモード崩壊を回避した。
• EBMは分布外検出において強く優れた性能を示し、ベンチマークで最先端の結果を達成した。
• モデルは敵対的ロバストネスを示し、敵対的に訓練された分類タスクにおいて、標準的な生成モデルを上回った。
• EBMは、継続的オンラインクラス学習において最先端の性能を達成し、新しいクラスに適応しながらも、深刻な忘却を回避した。
• 暗黙的生成フレームワークは、一貫性のある長期的軌道ロールアウト、および効果的な画像インpainting（穴埋め）と再構築を可能にした。