[論文レビュー] Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning

Casey Chu, José Blanchet+1 more|arXiv (Cornell University)|Jan 30, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、生成対抗ネットワーク（GANs）、変分推論、およびエージェント・クリティック強化学習を、確率測度上の汎関数の最小化として統一的に定式化する確率的関数降下（PFD）を導入する。関数導関数と凸双対性を活用することで、PFDは既存の手法を特別な場合として回復し、影響関数とFenchel–Moreau双対性に基づく共通の最適化メカニズムを提供する。

ABSTRACT

This paper provides a unifying view of a wide range of problems of interest in machine learning by framing them as the minimization of functionals defined on the space of probability measures. In particular, we show that generative adversarial networks, variational inference, and actor-critic methods in reinforcement learning can all be seen through the lens of our framework. We then discuss a generic optimization algorithm for our formulation, called probability functional descent (PFD), and show how this algorithm recovers existing methods developed independently in the settings mentioned earlier.

研究の動機と目的

• 生成対抗ネットワーク（GANs）、変分推論、エージェント・クリティック強化学習という多様な機械学習問題を、確率測度上の汎関数を最小化するという共通の数学的定式化で統一すること。
• 影響関数と弱微分の概念を用いて、関数解析、特に機能的微分の観点からこれらの手法の理論的基盤を確立すること。
• GANs、変分推論、強化学習の3分野における既存のアルゴリズムを一般化する汎用的最適化アルゴリズム「確率的関数降下（PFD）」を導出すること。
• 汎関数の測度における影響関数が、測度空間における汎関数の勾配に相当することを示し、勾配に基づく最適化を可能にすること。
• Fenchel–Moreau定理による凸共役双対性が、GANsおよび変分推論における既知の損失関数と更新ルールを回復するメカニズムを提供すること。

提案手法

• コンパクト空間 $ X $ 上の確率測度空間 $ \mathcal{P}(X) $ における汎関数 $ J: \mathcal{P}(X) \to \mathbb{R} $ の最小化として機械学習問題を定式化する。
• 測度 $ \mu $ における汎関数 $ J $ の影響関数 $ \Psi $ を、$ \frac{d}{d\epsilon}J(\mu + \epsilon\chi)\big|_{\epsilon=0} = \int_X \Psi(x) \, \chi(dx) $ を満たす関数導関数として定義し、測度空間における方向微分を可能にする。
• Fenchel–Moreau定理を適用して $ J(\mu) $ を連続関数 $ \varphi \in \mathcal{C}(X) $ における上界として表現し、$ J(\mu) = \sup_{\varphi} \left[ \int_X \varphi \, d\mu - J^\star(\varphi) \right] $ を得る。ここで $ J^\star $ は凸共役である。
• 汎関数 $ J $ の $ \mu $ における勾配を、影響関数 $ \Psi_\mu $ として導出し、これが共役双対問題の最適化子であることを示す。
• 弱収束と双対性を用いて、測度 $ \mu $ を影響関数の方向に勾配降下で更新する汎用的アルゴリズム「確率的関数降下（PFD）」を提案する。
• 既存の手法を回復する：GANsではJS発散が $ \log(1 + e^{2\varphi}) $ を含む双対形式として現れ、変分推論ではKL発散が共役双対性により回復され、強化学習ではエージェント・クリティック更新がPFDの特別な場合として得られる。

実験結果

リサーチクエスチョン

• RQ1 GANs、変分推論、エージェント・クリティック強化学習は、1つの汎関数最適化枠組みとして統一可能か？
• RQ2 確率測度空間上の汎関数の関数導関数（影響関数）とは何か？ そしてそれが最適化を可能にする仕組みは？
• RQ3 凸共役双対性（Fenchel–Moreau）は、GANsおよび変分推論における双対性とどのように関係するか？
• RQ4 1つの汎用的アルゴリズム「確率的関数降下（PFD）」が、これらの3分野における既存手法を回復できるか？
• RQ5 影響関数が測度空間における適切に定義された勾配に対応するための条件は何か？

主な発見

• 汎関数 $ J $ の測度 $ \mu $ における影響関数 $ \Psi_\mu $ は、測度空間における摂動に沿った弱微分として特徴づけられ、$ \frac{d}{d\epsilon}J(\mu + \epsilon\chi)\big|_{\epsilon=0} = \int_X \Psi_\mu \, d\chi $ を満たす。
• Jensen-Shannon発散の場合、影響関数は $ \frac{1}{2} \left( \log \frac{p}{p+q} + \log 2 \right) $ であり、GANのディスクライマー更新ルールを回復する。
• JS発散汎関数の凸共役は $ J_{\mathrm{JS}}^\star(\varphi) = -\frac{1}{2} \int_X q \log(1 - 2e^{2\varphi}) \, dx - \frac{1}{2} \log 2 $ であり、生成器の目的関数との双対性を示す。
• 負例サンプリング（NS）損失の場合、影響関数は $ \log \frac{p}{q} $ であり、標準的な対照学習の更新に対応する。
• Fenchel–Moreau定理により、適切な正則性条件下で、双対表現を最大化する影響関数 $ \varphi^* $ が $ J $ の勾配に一致することが保証される。
• 確率的関数降下（PFD）は、強化学習におけるエージェント・クリティック更新を、測度空間における降下の特別な場合として回復する。ここで方策は、アドバンテージ関数を影響関数として更新する。