[논문 리뷰] A Connection between Generative Adversarial Networks, Inverse Reinforcement Learning, and Energy-Based Models

Chelsea Finn, Paul F. Christiano외 2명|arXiv (Cornell University)|2016. 11. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 214

한 줄 요약

본 논문은 평가 가능한 생성자 밀도를 가진 특정 GAN이 수학적으로 최대 엔트로피 역강화학습(MaxEnt IRL)과 동등하다고 보이며, 이것이 GAN과 에너지 기반 모델(Energy-Based Models)을 연결하여 GAN, IRL, EBMs 간 아이디어를 전이 가능하게 함을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) are a recently proposed class of generative models in which a generator is trained to optimize a cost function that is being simultaneously learned by a discriminator. While the idea of learning cost functions is relatively new to the field of generative modeling, learning costs has long been studied in control and reinforcement learning (RL) domains, typically for imitation learning from demonstrations. In these fields, learning cost function underlying observed behavior is known as inverse reinforcement learning (IRL) or inverse optimal control. While at first the connection between cost learning in RL and cost learning in generative modeling may appear to be a superficial one, we show in this paper that certain IRL methods are in fact mathematically equivalent to GANs. In particular, we demonstrate an equivalence between a sample-based algorithm for maximum entropy IRL and a GAN in which the generator's density can be evaluated and is provided as an additional input to the discriminator. Interestingly, maximum entropy IRL is a special case of an energy-based model. We discuss the interpretation of GANs as an algorithm for training energy-based models, and relate this interpretation to other recent work that seeks to connect GANs and EBMs. By formally highlighting the connection between GANs, IRL, and EBMs, we hope that researchers in all three communities can better identify and apply transferable ideas from one domain to another, particularly for developing more stable and scalable algorithms: a major challenge in all three domains.

연구 동기 및 목표

• GAN, IRL, EBMs 간의 연결을 동기 부여하고 형식화한다.
• 생성자 밀도 q(τ)가 평가 가능한 특수한 GAN 디스크리미네이터가 MaxEnt IRL과 정렬되는지 보여준다.
• MaxEnt IRL이 에너지 기반 모델의 특수한 경우임을 시연한다.
• 편향되지 않은 파티션 함수 추정으로 GAN이 EBMs를 학습시키는 방법을 도출한다.
• 세 가지 영역 간의 안정성과 아이디어 이전에 대한 시사점을 논의한다.

제안 방법

• 생성자 밀도 q(τ)와 볼츠만 에너지 cθ(τ)를 사용하는 GAN 디스크리미네이터의 특수 형태를 정의한다.
• 디스크리미네이터 Dτ = (1/Z exp(-cθ(τ)))/(1/Z exp(-cθ(τ)) + q(τ))를 보여주어 디스크리미네이터가 생성자에 독립적이도록 만든다.
• Z를 파티션 함수의 중요도 샘플링 추정기로 취급할 때 GAN 목표가 MaxEnt IRL 목표와 일치함을 증명한다.
• 생성자 손실이 Z의 로그와 MaxEnt IRL의 샘플러(엔트로피 규제) 목표와 같아짐을 도출한다.
• 생성자 밀도 이용 가능 시 편향되지 않은 파티션 함수 추정기를 도출하여 EBMs 학습으로의 연결을 확장한다.
• 밀도 활용 가능한 생성자(예: 자기회귀 모델)를 사용한 안정적 학습에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 평가 가능한 생성자 밀도를 가진 GAN이 MaxEnt IRL 목표를 재현할 수 있는가?
• RQ2 GAN 학습과 MaxEnt IRL 사이의 동등성을 부여하는 디스크리미네이터 형태는 무엇인가?
• RQ3 생성자 밀도 알고 있을 때 GAN이 에너지 기반 모델 학습과 어떤 관련이 있는가?
• RQ4 이러한 연결이 GAN, IRL, EBM 전반의 더 안정적이고 확장 가능한 학습에 어떤 정보를 제공하는가?

주요 결과

• 생성자 밀도가 평가 가능한 GAN은 샘플 기반 MaxEnt IRL 알고리즘과 동등하다.
• 최적의 디스크리미네이터는 생성자 밀도를 포함하도록 작성될 수 있으며 최적점에서 생성자와의 독립성을 달성한다.
• MaxEnt IRL은 비용 함수를 에너지로 삼는 에너지 기반 모델의 특수한 경우이고, 생성자 밀도가 이용 가능하면 GAN이 EBMs를 학습시킬 수 있다.
• 파티션 함수 Z는 중요도 샘플링으로 추정되며 그 기울기가 IRL 목표와 정렬된다.
• 생성자 손실은 MaxEnt IRL 샘플러 손실과 같아져 적대적 학습을 엔트로피 규제 정책 최적화와 연결한다.
• 이 formalization은 GAN, IRL, EBM 간의 안정성과 확장성 아이디어를 서로 이전할 수 있는 경로를 제시한다.