[논문 리뷰] Adversarial Learning of a Sampler Based on an Unnormalized Distribution

Chunyuan Li, Ke Bai외 4명|arXiv (Cornell University)|2019. 01. 03.

Image Processing Techniques and Applications인용 수 7

한 줄 요약

이 논문은 참조 분포 $p_r(x)$ 를 이용해 우도 비율을 추정함으로써 진짜 분포 $p(x)$ 에서의 샘플이 제공되지 않는 경우에도, 비정규화된 밀도 함수 $u(x)$ 에서 학습할 수 있는 새로운 GAN 기반 방법인 기반성 반독립 샘플링(RAS)을 제안한다. RAS는 적응형 SVGD보다 소프트 Q-학습 벤치마크에서 더 뛰어난 성능을 보이며, 엔트로피 정규화를 통해 생성 품질을 향상시킨다.

ABSTRACT

We investigate adversarial learning in the case when only an unnormalized form of the density can be accessed, rather than samples. With insights so garnered, adversarial learning is extended to the case for which one has access to an unnormalized form u(x) of the target density function, but no samples. Further, new concepts in GAN regularization are developed, based on learning from samples or from u(x). The proposed method is compared to alternative approaches, with encouraging results demonstrated across a range of applications, including deep soft Q-learning.

연구 동기 및 목표

• 진짜 분포 $p(x)$ 에서의 샘플이 제공되지 않고, 오직 비정규화된 밀도 함수 $u(x)$ 만 존재하는 상황에서 생성 모델을 학습하는 데 도전하는 것.
• 샘플 기반 학습을 넘어서, $p(x)$ 가 $u(x)$ 를 통해만 접근 가능한 설정으로 GAN을 확장하여 강화학습 및 베이지안 추론 분야에 새로운 응용을 가능하게 하는 것.
• 우도 비율 추정을 통해 $u(x)$ 나 샘플에서의 반독립 학습 동안 표본 품질을 향상시키는 엔트로피 기반 정규화 전략을 개발하는 것.
• RAS가 복잡하고 고차원적인 작업, 예를 들어 연속 제어 환경에서의 소프트 Q-학습에서의 효과성을 입증하는 것.

제안 방법

• RAS는 $u(x)$ 와 $q_\theta(x)$ 를 근사하는 데 쉬운 샘플링이 가능한 參조 분포 $p_r(x)$ 를 사용하여 우도 비율 $p(x)/q_\theta(x)$ 를 추정함으로써, 직접 $p(x)$ 에 접근할 수 없더라도 반독립 학습을 수행한다.
• 이 방법은 $f$-GAN의 통찰을 활용하여, $u(x)$ 를 통해 $g_0(p(x)/q_\theta(x))$ 를 추정함으로써 $p(x)$ 의 직접 접근 없이도 효과적인 GAN 학습이 가능하다는 것을 보여준다.
• 참조 분포 $p_r(x)$ 는 판별자에 대한 대체 목적함수를 구성하는 데 사용되어, 생성자는 $\epsilon \sim q_0$ 를 통해 $x = h_\theta(\epsilon)$ 를 학습할 수 있다.
• 표본 다양성과 품질을 향상시키기 위해 엔트로피 정규화를 도입하였으며, 이는 시뮬레이티드 앤날링과 GAN 내 사이클 일致성과의 이론적 연관성을 지닌다.
• 제약 조건이 있는 도메인에서는 강화학습에서 경계가 있는 행동 공간을 더 잘 모델링하기 위해 베타 분포를 참조로 사용한다.
• 이 방법은 $u(a|s)$ 를 비정규화된 정책 밀도로 사용하여, 적응형 SVGD를 RAS로 대체함으로써 소프트 Q-학습에 적용된다.

실험 결과

연구 질문

• RQ1 진짜 분포 $p(x)$ 에서의 샘플이 제공되지 않고, 오직 비정규화된 밀도 $u(x)$ 만 존재하는 상황에서 반독립 학습을 효과적으로 확장할 수 있는가?
• RQ2 진짜 분포 $p(x)$ 가 비정규화되어 있을 때, 참조 분포 $p_r(x)$ 를 어떻게 사용하여 우도 비율 $p(x)/q_\theta(x)$ 를 추정할 수 있는가?
• RQ3 엔트로피 정규화는 $u(x)$ 나 샘플에서의 반독립 학습 동안 표본 품질 향상에 어떤 역할을 하는가?
• RQ4 RAS는 강화학습의 연속 제어 환경에서 스토케스틱 정책을 학습하는 데 있어 적응형 SVGD와 비교하여 어떻게 성능을 냅니다?
• RQ5 RAS는 제약 조건이 있는 도메인, 예를 들어 딥 강화학습에서의 경계가 있는 행동 공간으로 일반화될 수 있는가?

주요 결과

• RAS는 MuJoCo 환경의 6개 중 4개에서 소프트 Q-학습에서 적응형 SVGD를 뛰어넘으며, 학습 속도와 최종 성능 측면에서 모두 뛰어난 성능을 보였다. 특히 21차원의 Humanoid 작업에서 성능이 뛰어났다.
• Hopper, Half-cheetah, Ant, Walker 작업에서는 RAS가 SVGD 기반 방법보다 더 높은 평균 수익을 얻고 더 빠른 수렴 속도를 보였다.
• Swimmer 및 Humanoid 작업에서는 RAS가 적응형 SVGD와 동등하거나 이를 초월하는 성능을 보였으며, 다양한 행동 공간 차원에서의 강건성을 입증하였다.
• 엔트로피 정규화 구성요소는 표본의 다양성과 품질을 향상시켰으며, 시뮬레이티드 앤날링과 사이클 일치성과의 이론적 연결고리를 지닌다.
• RAS는 비정규화된 분포에서 효과적인 샘플링을 가능하게 하여, 제약 조건이 있는 도메인에서 베타 분포 기반 참조를 사용함으로써 SVGD에서 관찰되는 모드 붕괴와 경계 위반 문제를 피할 수 있었다.
• 이 방법은 추론을 넘어서 일반적인 목적의 반독립 정책 학습 알고리즘을 강화학습 분야에 처음으로 가능하게 하였다.