[논문 리뷰] Connecting Generative Adversarial Networks and Actor-Critic Methods

David Pfau, Oriol Vinyals|arXiv (Cornell University)|2016. 10. 06.

Reinforcement Learning in Robotics참고 문헌 27인용 수 93

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)와 액터-크리틱(AC) 강화학습 방법 간의 공식적인 연결을 수립하며, GANs를 보상에 영향을 주지 못하는 액터-크리틱의 특수한 경우로 간주함으로써 이를 제시한다. 공통된 최적화 불안정성과 교차 분야 기법—예를 들어 엔트로피 정규화, 배치 정규화, 리プレイ 버퍼—를 식별하여, AC에서의 통찰이 GAN 학습을 안정화시키는 데 기여할 수 있고, 반대로 그 반대의 영향도 있음을 보여주며, 다수준 딥 러닝 최적화 분야의 공동 혁신을 촉진한다.

ABSTRACT

Both generative adversarial networks (GAN) in unsupervised learning and actor-critic methods in reinforcement learning (RL) have gained a reputation for being difficult to optimize. Practitioners in both fields have amassed a large number of strategies to mitigate these instabilities and improve training. Here we show that GANs can be viewed as actor-critic methods in an environment where the actor cannot affect the reward. We review the strategies for stabilizing training for each class of models, both those that generalize between the two and those that are particular to that model. We also review a number of extensions to GANs and RL algorithms with even more complicated information flow. We hope that by highlighting this formal connection we will encourage both GAN and RL communities to develop general, scalable, and stable algorithms for multilevel optimization with deep networks, and to draw inspiration across communities.

연구 동기 및 목표

• 생성적 적대적 네트워크(GANs)와 액터-크리틱 방법 간의 수학적 동치성을 이중 최적화 프레임워크 안에서 공식화하는 것.
• 모드 붕괴와 진동 행동과 같은 GANs와 액터-크리틱 방법에서 공통적으로 나타나는 학습 불안정성을 규명하는 것.
• 엔트로피 정규화, 배치 정규화, 리플레이 버퍼와 같은 안정화 기법을 GAN과 강화학습(RL) 공동체 간에 이전하는 것.
• 더 안정적이고 확장 가능하며 일반적인 다수준 최적화 알고리즘 개발을 위해 GAN과 RL 연구 간의 아이디어 교환을 촉진하는 것.

제안 방법

• 생성자(generator)를 액터, 판별자(discriminator)를 크리틱으로 간주하고, 판별자의 출력을 상태 없는 MDP에서의 보상 신호로 사용하는 이중 최적화 문제로 GANs를 공식화하는 것.
• GAN의 목적함수를 액터-크리틱 가치 함수 갱신과 동치인 최소최대 게임으로 재해석하며, 판별자의 분류 확률을 크리틱의 가치 추정치로 간주하는 것.
• 액터-크리틱 기법인 엔트로피 정규화를 생성자에 적용하여 모드 붕괴를 방지하며, 이는 연속 행동 강화학습에서 탐색을 장려하는 것과 유사한 방식이다.
• 배치 정규화와 가상 배치 정규화를 GANs와 AC 방법 양쪽 모두에 적용하여 학습 동역학을 안정화하고 내부 공변량 이동을 줄이는 것.
• 과거에 생성된 샘플을 저장하기 위해 리플레이 버퍼를 GANs에 평가하여 디스커리미네이터의 과적합을 방지하나, 점점 더 정확한 샘플을 얻는 데에는 제한된 성공을 보였음.
• 액터-크리틱에서의 타겟 네트워크와 호환 가능한 크리틱의 적용 가능성을 분석하며, 시간적 동역학의 부재와 GAN MDP의 영향도가 0인 특성으로 인해 그 유용성이 제한됨을 지적함.

실험 결과

연구 질문

• RQ1 GANs를 보상에 영향을 주지 못하는 액터-크리틱 강화학습의 특수한 경우로 공식적으로 재해석할 수 있는가?
• RQ2 GANs와 액터-크리틱 방법에서 공통적으로 나타나는 최적화 불안정성은 무엇이며, 이를 체계적으로 어떻게 해결할 수 있는가?
• RQ3 액터-크리틱 방법에서 유용한 안정화 기법—예를 들어 엔트로피 정규화, 배치 정규화, 리플레이 버퍼—중에서 GAN 학습에 효과적으로 적용할 수 있는 것은 무엇인가?
• RQ4 GANs와 표준 강화학습 환경 간의 구조적 차이(예: 상태 전이의 부재와 지연 보상)는 타겟 네트워크와 같은 AC 기법의 적용 가능성에 어떻게 영향을 미치는가?
• RQ5 진정한 보상 기대값이 항상 0.5이기 때문에, 액터-크리틱 이론에서의 호환 가능한 크리틱 개념을 GAN 환경으로 의미 있게 확장할 수 있는가?

주요 결과

• GANs를 상태 없는 환경에서 액터-크리틱 방법과 동치인 이중 최적화 문제로 공식적으로 볼 수 있으며, 판별자가 크리틱으로, 생성자가 액터로 작용한다.
• 생성자에 적용된 엔트로피 정규화는 모드 붕괴를 방지하는 데 기여하며, 이는 연속 행동 강화학습에서 엔트로피 보너스가 탐색을 장려하는 것과 유사한 방식이다.
• 배치 정규화와 가상 배치 정규화는 깊은 네트워크에서 특히 효과적으로, GANs와 액터-크리틱 방법 모두의 학습 안정성을 크게 향상시킨다.
• 리플레이 버퍼는 과거에 생성된 샘플을 저장하기 위해 GANs에 테스트되었으나, 점점 더 정확한 샘플을 생성하지 못하여, GANs에 비정책적 리플레이를 적용하는 데에는 한계가 있음을 시사한다.
• 타겟 네트워크는 시간적 동역학의 부재와 디스커리미네이터 손실이 표준 회귀 문제로 변환되어 타겟 네트워크가 필요 없어지는 점으로 인해 GANs에 덜 적용 가능하다.
• 실제로 어떤 정책의 진정한 가치도 항상 0.5이므로, 정책 기울기의 기대값이 항상 0이 되며, 이는 적대적 학습의 목표와 모순되므로 호환 가능한 크리틱 개념은 자연스럽게 GANs로 확장되지 않는다.