[논문 리뷰] Proximal Policy Optimization and its Dynamic Version for Sequence Generation

Yi-Lin Tuan, Jinzhi Zhang외 2명|arXiv (Cornell University)|2018. 08. 24.

Reinforcement Learning in Robotics참고 문헌 2인용 수 7

한 줄 요약

이 논문은 시퀀스 생성 작업을 위해 정책 기울기 대신 Proximal Policy Optimization (PPO)를 도입하고, 동적 버전인 PPO-dynamic을 제안하여 훈련 안정성 향상, 수렴 속도 향상, 그리고 합성 카운팅 작업과 채팅봇 벤치마크에서의 성능 향상을 입증한다. BLEU-2 스코어를 사용한 평가에서 PPO-dynamic는 정책 기울기보다 높은 정밀도와 BLEU 스코어를 달성하면서 더 다양하고 정확한 출력을 유도한다.

ABSTRACT

In sequence generation task, many works use policy gradient for model optimization to tackle the intractable backpropagation issue when maximizing the non-differentiable evaluation metrics or fooling the discriminator in adversarial learning. In this paper, we replace policy gradient with proximal policy optimization (PPO), which is a proved more efficient reinforcement learning algorithm, and propose a dynamic approach for PPO (PPO-dynamic). We demonstrate the efficacy of PPO and PPO-dynamic on conditional sequence generation tasks including synthetic experiment and chit-chat chatbot. The results show that PPO and PPO-dynamic can beat policy gradient by stability and performance.

연구 동기 및 목표

• BLEU나 적대적 보상과 같이 미분이 불가능한 지표를 최적화할 때 발생하는 정책 기울기의 불안정성과 높은 분산 문제를 해결하기 위해.
• 더 안정적인 강화학습 알고리즘인 PPO가 조건부 시퀀스 생성에서 정책 기울기보다 우월한 성능을 보일 수 있는지 평가하기 위해.
• 훈련의 유연성과 수렴 속도를 향상시키기 위해 PPO에 동적 제약 메커니즘을 제안하고 검증하기 위해.
• PPO 기반 방법이 정책 기울기 대비 생성된 시퀀스의 다양성과 품질을 향상시키는지 입증하기 위해.

제안 방법

• 정책 기울기 대신 정책 업데이트를 클리핑된 확률 비율을 통해 정규화하는 Proximal Policy Optimization (PPO)로 교체하여 파괴적인 업데이트를 방지한다.
• 훈련 진행 상황에 따라 클리핑 범위를 동적으로 조정하는 PPO-dynamic이라는 수정된 PPO 버전을 도입하여 적응성과 수렴 성능을 향상시킨다.
• GRU를 사용한 시퀀스-투-시퀀스 모델에 적용하여, BLEU 스코어 또는 디스크리미네이터 출력 기반 보상 함수를 사용해 텍스트 생성을 마르코프 결정 과정으로 설정한다.
• 훈련 분산을 줄이기 위해 베이스라인 빼기 방식의 이점 추정을 적용하고, 시퀀스 생성에서 신용 할당을 위해 몬테카를로 롤아웃을 사용한다.
• 합성 작업에서는 커리큘럼 유사 훈련 전략을 적용하여, 모델이 입력 길이와 위치 제약 조건에 기반해 시퀀스를 생성하도록 훈련시킨다.
• 정책 최적화에 PPO와 PPO-dynamic를 사용하여, 작업별 보상(예: BLEU-2)과 적대적 보상(예: SeqGAN의 디스크리미네이터에서 유도)을 모두 적용한다.

실험 결과

연구 질문

• RQ1 PPO는 시퀀스 생성 작업에서 정책 기울기 대비 훈련 안정성과 수렴 속도 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 제안된 PPO-dynamic 방법은 표준 PPO에 비해 훈련 효율성과 최종 성능을 추가로 향상시키는가?
• RQ3 PPO 기반 최적화는 합성 작업과 실제 채팅봇 작업 모두에서 생성된 시퀀스의 다양성과 정확성에 어느 정도 기여하는가?
• RQ4 PPO는 텍스트 생성에서 미분이 불가능한 지표인 BLEU를 최적화할 때 정책 기울기와 비교해 어떻게 성능을 냈는가?

주요 결과

• 합성 카운팅 작업에서 PPO-dynamic는 정밀도 98.62%를 기록하여 원래의 정책 기울기(87.37%)를 크게 앞서며, 최고 성능을 보인 REINFORCE 방법과 유사한 성능을 달성했다.
• PPO-dynamic는 PPO와 정책 기울기 모두보다 더 빠른 수렴을 보였으며, 수렴 곡선을 통해 더 안정적이고 효율적인 학습 진전이 이루어졌음을 시사했다.
• OpenSubtitles 기반 채팅봇 평가에서 PPO-dynamic는 BLEU-2 스코어 14.73을 기록하여 REINFORCE(14.29)와 PPO(14.12)보다 略히 높았다.
• 카운팅 작업에서의 생성 출력 분포(예: y₁)를 살펴보면, PPO와 PPO-dynamic는 REINFORCE가 단일 출력에 집중하는 것과는 달리 참값에 훨씬 더 가까운 분포를 보였다.
• PPO와 PPO-dynamic는 정책 기울기의 높은 분산 문제를 완화시켜 합성 및 실제 환경 모두에서 더 안정적인 훈련과 더 나은 일반화 성능을 이끌어냈다.