[논문 리뷰] Tuning Recurrent Neural Networks with Reinforcement Learning

Natasha Jaques, Shixiang Gu외 2명|arXiv (Cornell University)|2016. 11. 09.

Music and Audio Processing인용 수 45

한 줄 요약

이 논문은 사전 훈련된 RNN를 사용하여 시퀀스 생성에서 장기적 일관성을 향상시키기 위해 지도학습과 강화학습(RL)을 조합한 하이브리드 훈련 접근법을 제안한다. 사전 훈련된 LSTM을 다음 노트 예측에 사용하고, 음악 이론 기반 보상으로 강화학습을 통해 개선함으로써 고장 모드를 줄이고, 데이터에서 학습한 패턴을 유지하면서 더 음악적으로 일관성 있는 멜로디를 생성한다.

ABSTRACT

The approach of training sequence models using supervised learning and next-step prediction suffers from known failure modes. For example, it is notoriously difficult to ensure multi-step generated sequences have coherent global structure. We propose a novel sequence-learning approach in which we use a pre-trained Recurrent Neural Network (RNN) to supply part of the reward value in a Reinforcement Learning (RL) model. Thus, we can refine a sequence predictor by optimizing for some imposed reward functions, while maintaining good predictive properties learned from data. We propose efficient ways to solve this by augmenting deep Q-learning with a cross-entropy reward and deriving novel off-policy methods for RNNs from KL control. We explore the usefulness of our approach in the context of music generation. An LSTM is trained on a large corpus of songs to predict the next note in a musical sequence. This Note RNN is then refined using our method and rules of music theory. We show that by combining maximum likelihood (ML) and RL in this way, we can not only produce more pleasing melodies, but significantly reduce unwanted behaviors and failure modes of the RNN, while maintaining information learned from data.

연구 동기 및 목표

• 단일 다음 단계 예측 훈련으로만 수행할 경우 RNN이 장기적 시퀀스를 일관성 있게 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 대규모 데이터에서 학습한 예측 정확도를 유지하면서 생성된 시퀀스의 전반적 구조를 향상시키기 위해.
• 예를 들어 음악 이론 규칙 같은 도메인 전문 지식을 강화학습을 통해 시퀀스 모델링에 통합하기 위해.
• 오프-폴리시 훈련과 KL 제어를 지원하는 RNN에 특화된 효율적인 강화학습 방법을 개발하기 위해.
• 일관성과 구조적 품질이 중요한 음악 생성 분야에서 접근법을 평가하기 위해.

제안 방법

• 대규모 노래 코퍼스에서 최대우도(ML) 훈련을 통해 초기화된 사전 훈련된 LSTM이 시퀀스의 다음 노트를 예측하기 위한 정책 네트워크로 사용된다.
• 음악 이론 규칙 기반 보상 함수를 최적화하여 강화학습을 적용함으로써 RNN 정책을 개선한다.
• 사전 훈련된 모델의 예측 행동과 일치시키기 위해 교차 엔트로피 성분을 포함한 보상 함수를 사용하여 데이터에서 학습한 패턴을 유지한다.
• KL 제어 원리에서 유도된 새로운 오프-폴리시 RL 방법을 통해 RNN의 샘플 효율성과 훈련 안정성을 향상시킨다.
• 우리의 방법은 가능도와 보상의 동시 최적화를 가능하게 하여 데이터 충실도와 구조적 품질의 균형을 이룬다.
• 이 접근법은 순차적 의사결정과 RNN 다이내믹스를 다룰 수 있도록 수정된 딥 Q러닝을 사용하여 구현된다.

실험 결과

연구 질문

• RQ1 최대우도 사전 훈련과 강화학습을 조합함으로써 RNN 생성 시퀀스의 장기적 일관성이 향상될 수 있는가?
• RQ2 예를 들어 음악 이론 같은 도메인 전문 지식은 어떻게 효과적으로 시퀀스 모델링에 통합될 수 있는가?
• RQ3 강화학습 미세조정에서 사전 훈련된 RNN을 보상 구성 요소로 사용할 경우의 영향은 무엇인가?
• RQ4 오프-폴리시 RL 방법은 RNN에 효과적으로 적용되어 훈련 효율성과 안정성을 향상시킬 수 있는가?
• RQ5 하이브리드 ML-RL 접근법은 데이터에서 학습한 표현을 유지하면서 생성 시퀀스의 고장 모드를 어느 정도 줄일 수 있는가?

주요 결과

• 하이브리드 ML-RL 접근법은 표준 다음 단계 예측 방식에 비해 생성된 멜로디의 음악적 품질과 일관성을 크게 향상시킨다.
• 보상 형태 조정을 통해 구조적 제약 조건을 강제함으로써 RNN에서 흔히 발생하는 반복적이거나 일관성이 없는 노트 패턴과 같은 고장 모드를 줄인다.
• 교차 엔트로피 보상으로 사전 훈련된 RNN의 예측 행동을 유지함으로써 강력한 데이터 피팅 성질을 유지한다.
• 오프-폴리시 RL 방법을 사용함으로써 순차적 데이터와 복잡한 RNN 다이내믹스가 존재하는 환경에서도 안정적이고 효율적인 훈련이 가능하다.
• 보상 함수에 음악 이론 규칙을 통합함으로써 더 조화롭고 리듬적으로 타당한 시퀀스를 생성한다.
• 이 접근법은 데이터 충실도와 구조적 품질의 균형을 이루며, 정량적·정성적 평가에서 순수 ML 및 순수 RL 기준 모델을 모두 능가한다.