[論文レビュー] Adversarial Learning of a Sampler Based on an Unnormalized Distribution

Chunyuan Li, Ke Bai+4 more|arXiv (Cornell University)|Jan 3, 2019

Image Processing Techniques and Applications被引用数 7

ひとこと要約

本稿では、真の分布 $p(x)$ からのサンプルが入手不可な状況下で、正規化されていない密度関数 $u(x)$ からの学習を目的とする、GANベースの新規手法である参照ベースAdversarial Sampling (RAS) を提案する。RAS は、サンプルが容易に得られる参照分布 $p_r(x)$ を用いて尤度比を推定することで、敵対的学習を可能にし、エントロピー正則化を導入することでサンプリング品質を向上させ、ソフトQ学習のベンチマークにおいてアモアタイズドSVGDを上回る性能を発揮する。

ABSTRACT

We investigate adversarial learning in the case when only an unnormalized form of the density can be accessed, rather than samples. With insights so garnered, adversarial learning is extended to the case for which one has access to an unnormalized form u(x) of the target density function, but no samples. Further, new concepts in GAN regularization are developed, based on learning from samples or from u(x). The proposed method is compared to alternative approaches, with encouraging results demonstrated across a range of applications, including deep soft Q-learning.

研究の動機と目的

• 真の分布 $p(x)$ からのサンプルが入手不可で、代わりに正規化されていない密度関数 $u(x)$ のみが利用可能な状況において、生成モデルを学習する課題に対処すること。
• GANをサンプルに基づく学習に限らず、$p(x)$ が $u(x)$ を通じてのみ入手可能な状況へと拡張することにより、強化学習やベイズ推論における新たな応用を可能にすること。
• 敵対的学習におけるサンプル品質の向上を目的として、エントロピーに基づく正則化戦略を構築すること。
• RASが、連続制御環境におけるソフトQ学習を含む、複雑で高次元のタスクにおいて有効であることを実証すること。

提案手法

• RAS は、$u(x)$ と、$q_\theta(x)$ を近似できるがサンプリングが容易な参照分布 $p_r(x)$ を用いて、尤度比 $p(x)/q_\theta(x)$ を推定することで、敵対的学習を定式化する。
• 本手法は、$f$-GAN の知見を活用し、$p(x)$ への直接アクセスがなくても、$u(x)$ を用いて $g_0(p(x)/q_\theta(x))$ を推定することで、有効なGAN学習が可能であることを示す。
• 識別器のための代替目的関数を、参照分布 $p_r(x)$ を用いて構築することで、生成器が $x = h_\theta(\epsilon)$ を $\epsilon \sim q_0$ を用いて学習可能となる。
• エントロピー正則化を導入し、敵対的学習におけるサンプルの多様性と品質を向上させる。この正則化は、模擬冷却法やGANにおけるサイクル整合性と理論的関連を持つ。
• 制約付きドメインでは、強化学習における有界な行動空間をより良くモデル化できるよう、ベータ分布を参照分布として用いる。
• ソフトQ学習への応用においては、アモアタイズドSVGDの代わりにRASを採用し、$u(a|s)$ を正規化されていない方策密度として用いる。

実験結果

リサーチクエスチョン

• RQ1 真の分布 $p(x)$ からのサンプルが入手不可な状況でも、正規化されていない密度関数 $u(x)$ のみが利用可能な場合に、敵対的学習を効果的に拡張できるか。
• RQ2 真の分布 $p(x)$ が正規化されていない場合に、参照分布 $p_r(x)$ を用いて、$p(x)/q_\theta(x)$ の尤度比をどのように推定できるか。
• RQ3 敵対的学習において、$u(x)$ やサンプルから学習する際、エントロピー正則化がサンプル品質の向上に果たす役割は何か。
• RQ4 強化学習における連続制御タスクにおける確率的方策の学習において、RAS はアモアタイズドSVGDに比べてどのように性能を発揮するか。
• RQ5 RAS は、深層強化学習における有界な行動空間のような制約付きドメインへと一般化可能か。

主な発見

• RAS は、MuJoCo環境の6つのうち4つ（21次元のHumanoidタスクも含む）において、ソフトQ学習でアモアタイズドSVGDを顕著に上回り、学習速度と最終的な性能の両面で優れる。
• Hopper, Half-cheetah, Ant, Walker タスクにおいて、RAS はSVGDベースの手法よりも高い平均報酬と高速な収束を達成する。
• Swimmer および Humanoid タスクでは、RAS はアモアタイズドSVGDと同等またはそれを上回る性能を示し、多様な行動空間次元にわたり高いロバスト性を示す。
• エントロピー正則化は、サンプルの多様性と品質を向上させ、模擬冷却法やサイクル整合性と理論的関連を持つ。
• ベータ分布を参照として用いることで、RAS は制約付きドメインにおける正規化されていない分布からの有効なサンプリングを可能にし、SVGDが示すモード崩壊や境界違反を回避する。
• 本手法は推論を超えて一般化され、強化学習における最初の汎用的敵対的方策学習アルゴリズムを実現する。