[논문 리뷰] ACtuAL: Actor-Critic Under Adversarial Learning

Anirudh Goyal, Nan Rosemary Ke외 5명|arXiv (Cornell University)|2017. 11. 13.

Reinforcement Learning in Robotics참고 문헌 30인용 수 8

한 줄 요약

ACtuAL은 기존 GAN에서 생성자 학습을 기반으로 하는 기울기 기반 학습을 대체하여 비순환적 시간 차이 목표를 도입함으로써, 이산 시퀀스에 대한 생성적 RNN의 효과적인 학습을 가능하게 한다. 이는 이산 토큰을 통해 역전파를 수행하지 않으며, 교사-강요 기반 보다 더 높은 로그우도와 더 낮은 문자당 비트 수를 달성하여 문자 수준의 언어 모델링 벤치마크에서 최신 기술 수준의 우수한 성능을 기록한다.

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful framework for deep generative modeling. Posed as a two-player minimax problem, GANs are typically trained end-to-end on real-valued data and can be used to train a generator of high-dimensional and realistic images. However, a major limitation of GANs is that training relies on passing gradients from the discriminator through the generator via back-propagation. This makes it fundamentally difficult to train GANs with discrete data, as generation in this case typically involves a non-differentiable function. These difficulties extend to the reinforcement learning setting when the action space is composed of discrete decisions. We address these issues by reframing the GAN framework so that the generator is no longer trained using gradients through the discriminator, but is instead trained using a learned critic in the actor-critic framework with a Temporal Difference (TD) objective. This is a natural fit for sequence modeling and we use it to achieve improvements on language modeling tasks over the standard Teacher-Forcing methods.

연구 동기 및 목표

• 이산 샘플링 연산이 비가역적이기 때문에 GAN을 이산 데이터에 대해 학습시키는 데 초래되는 근본적인 과제를 해결하기 위해.
• 학습 중에 노출 편향과 일반화 부족 문제를 야기하는 RNN의 교사-강요 기반 학습의 한계를 극복하기 위해.
• 액터-크리틱 프레임워크에서 기울기 역전파를 대체하여 학습된 크리틱을 통해 이점 할당을 효과적으로 수행하기 위해.
• 이산 변수를 통해 기울기 경로가 존재하지 않는 악성 훈련을 사용하여 문자 수준 및 단어 수준의 시퀀스 모델링 과제에서 성능 향상을 위해.

제안 방법

• 생성자를 액터로, 디스카리미네이터가 제공하는 보상 신호를 추정하는 크리틱이 되는 액터-크리틱 강화학습 문제로 GAN 생성자 학습을 재정의한다.
• 시간 차이(TD) 목표를 사용하여 크리틱이 향후 타임스텝 동안 진짜 시퀀스와 생성된 시퀀스를 구분할 수 있는 디스카리미네이터의 능력을 예측하도록 훈련한다.
• 크리틱의 TD 오차를 기반으로 정책 기반 기울기 업데이트를 사용하여 생성자를 훈련함으로써 이산 토큰을 통한 직접적인 역전파를 피한다.
• 악성 훈련을 정규화하고 일반화 성능을 향상시키기 위해 가중치가 부여된 로그우도 목표를 크리틱과 통합한다.
• 독립적인 디스카리미네이터 네트워크를 사용하여 이진 감독 신호를 제공하고, 크리틱은 시간적으로 일관된 밀도 보상 신호를 제공하여 이점 할당을 수행한다.
• 모든 모델에서 기울기 클리핑과 Adam 최적화를 사용하며 학습률은 0.0001로 설정하고, 고정된 길이의 겹치지 않는 시퀀스를 사용하여 훈련한다.

실험 결과

연구 질문

• RQ1 이산 변수를 통해 기울기 역전파에 의존하지 않고도 악성 훈련을 이산 시퀀스 생성에 효과적으로 적용할 수 있는가?
• RQ2 기존의 교사-강요 기반 학습 대비 기반 시간 차이 목표를 사용한 크리틱이 RNN의 장기 의존성 모델링 성능을 향상시킬 수 있는가?
• RQ3 GAN 디스카리미네이터와 액터-크리틱 프레임워크를 통합함으로써 문자 수준 언어 모델링에서 더 높은 우도와 더 나은 샘플 품질을 달성할 수 있는가?
• RQ4 기본적인 교사-강요 및 스케줄링 샘플링 대비 제안된 ACtuAL 프레임워크가 테스트 우도 및 일반화 성능 측면에서 어떻게 성능을 내는가?

주요 결과

• 문자 수준의 Penn Treebank 데이터셋에서, ACtuAL은 검증 세트에서 비트당 문자 수(BPC)를 교사-강요 기반 1.47에서 1.43으로 감소시키고, 테스트 세트에서는 1.38에서 1.34로 개선했다.
• 더 큰 문자 수준의 Text8 데이터셋에서, ACtuAL은 검증 세트에서 BPC 1.40, 테스트 세트에서 1.39를 기록했으며, 각각 교사-강요 기반의 1.42와 1.41보다 향상된 성능을 보였다.
• 중국어 시 데이터셋에서, ACtuAL은 검증 세트에서 음의 로그우도를 교사-강요 기반 32.39에서 32.05로 감소시키고, 테스트 세트에서는 31.83으로 개선했으며, 더 나은 우도 성능을 입증했다.
• 장기 의존성을 포착하고 시퀀스 전반에 걸쳐 안정적인 이점 할당을 제공하는 크리틱을 학습함으로써 일반화 성능이 향상되었다.
• TD 기반 크리틱과 가중치가 부여된 로그우도 목표의 조합이 가장 높은 성능을 기록했으며, 이는 효과적인 정규화를 의미한다.