[論文レビュー] Learning Neural Random Fields with Inclusive Auxiliary Generators

Yunfu Song, Zhijian Ou|arXiv (Cornell University)|Sep 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 79被引用数 26

ひとこと要約

本論文は、包括的ダイバージェンスを最小化する補助生成器と確率的勾配サンプリングを用いて連続データのニューラルランダムフィールドを学習する新しい手法、inclusive-NRFを提案する。この手法は、高品質な画像生成、半教師あり分類、異常検出を可能にするとともに、直接的な非正規化密度推定を提供する。これは、生成性能と明示的な尤度評価を組み合わせられる点で、GANに比べて顕著な利点を有する。

ABSTRACT

Neural random fields (NRFs), which are defined by using neural networks to implement potential functions in undirected models (sometimes known as energy-based models), provide an interesting family of model spaces for machine learning, besides various directed models such as generative adversarial networks (GANs). In this paper we propose a new approach, the inclusive-NRF approach, to learning NRFs for continuous data (e.g. images), by developing inclusive-divergence minimized auxiliary generators and stochastic gradient sampling. As demonstrations of how the new approach can be flexibly and effectively used, specific inclusive-NRF models are developed and thoroughly evaluated for a number of tasks - unsupervised/supervised image generation, semi-supervised classification and anomaly detection. The proposed models consistently achieve strong experimental results in all these tasks compared to state-of-the-art methods. Remarkably, in addition to superior sample generation, one fundamental additional benefit of our inclusive-NRF approach is that, unlike GANs, it directly provides (unnormalized) density estimate for sample evaluation. With these contributions and results, this paper significantly advances the learning and applications of undirected models to a new level, both theoretically and empirically, which have never been obtained before.

研究の動機と目的

• 連続データからの学習において、特に効率的な密度推定の欠如という既存の非方向モデルの限界を克服すること。
• サンプルの生成と評価を両立できる、柔軟で効果的なニューラルランダムフィールドの訓練フレームワークを構築すること。
• GANの根本的欠陥である密度推定の欠如を解消するために、エネルギーベースモデルに非正規化密度推定を統合すること。
• 本手法の有効性を、教師なし生成、半教師あり学習、異常検出といった多様なタスクにおいて実証すること。

提案手法

• 本手法は、補助生成器の学習を促進するために包括的ダイバージェンスの最小化を用いる。
• 訓練中にエネルギーベースモデルのパラメータを効率的に最適化するために、確率的勾配サンプリングを用いる。
• ニューラルネットワークを用いて非方向モデルのポテンシャル関数をパラメータ化し、連続データ向けに柔軟なエネルギー関数を構築する。
• 包括的ダイバージェンスの最小化を統合的な目的関数として用いることで、生成器とエネルギーモデルの訓練を統合する。
• 任意の生成されたサンプルに対して直接的な非正規化密度推定を可能にし、生成品質以上の評価が可能になる。

実験結果

リサーチクエスチョン

• RQ1 連続データに対して高精細なサンプル生成と明示的な密度推定を両立できるニューラルランダムフィールドフレームワークを設計できるか？
• RQ2 標準的なGAN風の目的関数と比較して、包括的ダイバージェンス最小化は非方向モデルの訓練安定性と性能をどのように向上させるか？
• RQ3 提案手法は、画像生成、半教師あり分類、異常検出といった多様なタスクにどの程度一般化可能か？
• RQ4 非正規化密度推定の統合により、実世界の応用においてGANに比べて実用的な利点が得られるか？

主な発見

• inclusive-NRFアプローチは、教師なしおよび教師あり画像生成を含め、評価されたすべてのタスクで最先端の性能を達成した。
• 半教師あり画像分類において、限られたラベル付きデータからの強い一般化性能を示し、既存手法を一貫して上回った。
• 異常検出においては、非正規化密度推定が可能であるため、分布外のサンプルを効果的に同定できた。
• GANとは異なり、本手法は任意のサンプルに対して直接的な非正規化密度推定値を提供するため、生成品質以上のモデル評価・選定が可能になった。