[논문 리뷰] Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning

Casey Chu, José Blanchet외 1명|arXiv (Cornell University)|2019. 01. 30.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 확률 측도 위에서 함수형을 최소화하는 방식으로 생성적 적대 신경망(GANs), 변분 추론, 액터-크리틱 강화 학습을 통합하는 Probability Functional Descent(PFD)라는 프레임워크를 제안한다. 기능 도함수와 볼록 쌍대성의 개념을 활용하여 PFD는 기존 방법들을 특수 케이스로 회복하고, 影향 함수와 Fenchel–Moreau 쌍대성에 기반한 공통 최적화 메커니즘을 제공한다.

ABSTRACT

This paper provides a unifying view of a wide range of problems of interest in machine learning by framing them as the minimization of functionals defined on the space of probability measures. In particular, we show that generative adversarial networks, variational inference, and actor-critic methods in reinforcement learning can all be seen through the lens of our framework. We then discuss a generic optimization algorithm for our formulation, called probability functional descent (PFD), and show how this algorithm recovers existing methods developed independently in the settings mentioned earlier.

연구 동기 및 목표

• 생성적 적대 신경망(GANs), 변분 추론, 액터-크리틱 강화 학습을 모두 동일한 수학적 형태로 통합하여, 확률 측도 위에서 함수형을 최소화하는 방식으로 기반을 둔다.
• 기능 해석, 특히 영향 함수와 약한 도함수 개념을 통해 이러한 방법들에 대한 이론적 기반을 구축한다.
• 세 분야의 알고리즘을 일반화하는 일반 최적화 알고리즘인 확률 기능 내림(PFD)을 유도한다.
• 함수형의 영향 함수가 측도 공간에서의 기능의 기울기와 대응됨을 보여주어 기울기 기반 최적화를 가능하게 한다.
• 볼록 쌍대성(특히 Fenchel–Moreau 정리)을 통해 GANs와 변분 추론에서 알려진 손실 함수와 업데이트 규칙을 회복할 수 있음을 보여준다.

제안 방법

• 콤��� 공간 $ X $ 위의 확률 측도 공간 $ \mathcal{P}(X) $ 위에서 정의된 함수형 $ J: \mathcal{P}(X) \to \mathbb{R} $ 를 최소화하는 방식으로 기계 학습 문제를 기술한다.
• 측도 $ \mu $ 에서 함수형 $ J $ 의 영향 함수 $ \Psi $ 는 방향 도함수를 가능하게 하는 기능 도함수로 정의되며, $ \frac{d}{d\epsilon}J(\mu + \epsilon\chi)\big|_{\epsilon=0} = \int_X \Psi(x) \, \chi(dx) $ 를 만족한다.
• Fenchel–Moreau 정리를 적용하여 $ J(\mu) $ 를 연속 함수 $ \varphi \in \mathcal{C}(X) $ 에 대한 최대값으로 표현하며, $ J(\mu) = \sup_{\varphi} \left[ \int_X \varphi \, d\mu - J^\star(\varphi) \right] $ 를 유도한다. 여기서 $ J^\star $ 는 볼록 쌍대 함수이다.
• 함수형 $ J $ 의 기울기 $ \Psi_\mu $ 는 영향 함수로 정의되며, 이는 쌍대 문제의 최적화자로 밝혀진다.
• 약한 수렴과 쌍대성의 개념을 활용하여, 측도 $ \mu $ 를 영향 함수의 내림 방향으로 업데이트하는 일반 알고리즘인 확률 기능 내림(PFD)을 제안한다.
• 기존 알고리즘들을 회복한다: GANs의 경우, JS 발산은 $ \log(1 + e^{2\varphi}) $ 를 포함하는 이중 형태로 표현되며, 변분 추론에서는 KL 발산이 쌍대성에 의해 회복되고, 강화 학습에서는 액터-크리틱 업데이트가 PFD의 특수 케이스로 나타난다.

실험 결과

연구 질문

• RQ1 생성적 적대 신경망, 변분 추론, 액터-크리틱 강화 학습이 하나의 기능 최적화 프레임워크로 통합될 수 있는가?
• RQ2 확률 측도 공간 위에서 정의된 일반 함수형의 기능 도함수(영향 함수)는 무엇이며, 어떻게 최적화를 가능하게 하는가?
• RQ3 볼록 쌍대성(Fenchel–Moreau)은 GANs와 변분 추론에서의 쌍대성과 어떻게 관련이 있는가?
• RQ4 일반 알고리즘인 확률 기능 내림(PFD)이 이 세 분야의 기존 방법들을 회복할 수 있는가?
• RQ5 영향 함수가 측도 공간에서 잘 정의된 기울기로 대응하기 위한 조건은 무엇인가?

주요 결과

• 함수형 $ J $ 의 영향 함수 $ \Psi_\mu $ 는 측도 공간 내의 변형에 따른 $ J $ 의 약한 도함수로 특징지어지며, $ \frac{d}{d\epsilon}J(\mu + \epsilon\chi)\big|_{\epsilon=0} = \int_X \Psi_\mu \, d\chi $ 를 만족한다.
• Jensen-Shannon 발산의 경우 영향 함수는 $ \frac{1}{2} \left( \log \frac{p}{p+q} + \log 2 \right) $ 로 표현되며, 이는 GAN의 디스크리미네이터 업데이트 규칙을 회복한다.
• JS 발산 기능의 볼록 쌍대 함수는 $ J_{\mathrm{JS}}^\star(\varphi) = -\frac{1}{2} \int_X q \log(1 - 2e^{2\varphi}) \, dx - \frac{1}{2} \log 2 $ 로 표현되며, 이는 생성자 목표 함수와의 쌍대성을 보여준다.
• 음성 샘플링(NS) 손실의 경우 영향 함수는 $ \log \frac{p}{q} $ 로 표현되며, 이는 표준 대비 학습 업데이트 규칙과 대응된다.
• Fenchel–Moreau 정리에 따르면, 적절한 정규성 조건 하에 이중 표현을 최대화하는 영향 함수 $ \varphi^* $ 는 $ J $ 의 기울기로 간주될 수 있다.
• 확률 기능 내림(PFD)은 정책을 이점 함수를 영향 함수로 사용하여 측도 공간 내림의 특수 케이스로 액터-크리틱 업데이트를 회복한다.