[논문 리뷰] Real-time interactive sequence generation and control with Recurrent Neural Network ensembles

Memo Akten, Mick Grierson|arXiv (Cornell University)|2016. 12. 14.

Music and Audio Processing참고 문헌 20인용 수 4

한 줄 요약

이 논문은 사용자가 제스처 입력을 통해 혼합 가중치를 조정함으로써 어조를 동적으로 조정할 수 있는 실시간 상호작용형 시스템을 제안한다. 이는 문자 수준의 LSTM 네트워크 앙상블을 기반으로 하며, 다양한 텍스트 코퍼스—셰익스피어, 트럼프 연설, 또는 코드—간에 부드럽고 연속적인 스타일 혼합을 가능하게 하여, 모델 수에 따라 매초 1~20자 수준의 반응성 있고 표현력 있는 생성을 실현한다.

ABSTRACT

Recurrent Neural Networks (RNN), particularly Long Short Term Memory (LSTM) RNNs, are a popular and very successful method for learning and generating sequences. However, current generative RNN techniques do not allow real-time interactive control of the sequence generation process, thus aren't well suited for live creative expression. We propose a method of real-time continuous control and 'steering' of sequence generation using an ensemble of RNNs and dynamically altering the mixture weights of the models. We demonstrate the method using character based LSTM networks and a gestural interface allowing users to 'conduct' the generation of text.

연구 동기 및 목표

• 기존 RNN 시스템에서 정적 프라밍의 한계를 넘어 실시간으로 지속적인 상호작용 제어를 가능하게 하기 위해.
• 다양한 스타일 전용 LSTM으로 구성된 앙상블 모델링이 텍스트 생성에서 표현력 있고 실시간 창작 제어를 어떻게 지원할 수 있는지 탐색하기 위해.
• 사용자가 여러 훈련된 텍스트 모델 간의 스타일 전환을 '지휘'할 수 있도록 저지연, 상호작용형 인터페이스를 개발하기 위해.
• 혼합 가중치 기반 동적 모델 활성화를 통해 많은 수의 모델을 지원하면서도 실시간 성능를 유지를 달성하는 도전 과제를 해결하기 위해.

제안 방법

• n개의 독립적인 LSTM이 서로 다른 텍스트 코퍼스에 대해 훈련되며, 각각 고유한 언어 스타일을 대표한다 (예: 셰익스피어, 트럼프, 코드).
• 각 모델은 공유된 128자 한글자원 일괄 인코딩과 소프트맥스 출력을 사용하여, 주어진 시퀀스에 기반해 다음 문자의 확률 분포를 독립적으로 예측한다.
• 실시간으로 사용자 입력 (마우스, LeapMotion, MIDI)을 통해 계산된 동적 혼합 가중치 벡터 πₜ가 생성되어, 개별 모델 출력을 결합한 공동 확률 분포 ρₜ를 형성한다.
• 공동 분포 ρₜ = Σᵢ πₜⁱ · yₜⁱ는 모델 예측을 결합하며, 여기서 πₜⁱ는 시간스텝 t에서 모델 i에 할당된 가중치이다.
• 시스템은 시각화와 예측을 분리한다: 클라이언트 측의 Visualiser가 πₜ를 계산하고 OSC를 통해 서버에 전송하며, 서버는 모든 모델을 병렬로 실행하고 각 모델의 출력을 반환한다.
• 성능 최적화를 통해 각 단계에서 πₜⁱ < 5%인 모델은 건너뛰며, 이로 인해 활성 계산을 줄여 10개 이상의 모델을 사용할 때도 실시간 동작이 가능해진다.

실험 결과

연구 질문

• RQ1 동적으로 조정된 혼합 가중치를 갖는 RNN 앙상블을 사용하여 실시간으로 지속적인 시퀀스 생성 제어를 달성할 수 있는가?
• RQ2 다양한 텍스트 코퍼스 간의 동적 스타일 혼합이 생성된 시퀀스의 표현력과 일관성에 어떤 영향을 미치는가?
• RQ3 실시간 상호작용 시스템에서 모델 수와 생성 속도 사이의 성능 트레이드오프는 어떠한가?
• RQ4 제스처 또는 MIDI 컨트롤러를 통한 사용자 입력이 원하는 스타일 전환 방향으로 출력을 효과적으로 이끌 수 있는가?

주요 결과

• 시스템은 모델 수에 따라 매초 1~20자 수준의 반응성으로 실시간으로 상호작용형 텍스트 생성 제어를 가능하게 한다.
• 사용자는 혼합 가중치를 실시간으로 조정하여 셰익스피어어에서 트럼프어로의 스타일 전환을 부드럽게 수행할 수 있다.
• 모델의 동적 활성화를 지원한다: 혼합 가중치가 5% 미만인 모델은 건너뛰며, 이로 인해 10개 이상의 모델이 로드된 상태에서도 실시간 성능가 유지된다.
• 2~4개의 활성 모델을 사용할 경우 고성능 랩탑에서 매초 10~20자 수준의 생성 속도를 유지한다; 8개 이상의 모델을 사용할 경우 계산 부담 증가로 인해 속도가 매초 1자로 감소한다.
• 일부 비논리적인 출력이나 철자 오류가 존재하더라도, 각 훈련 코퍼스의 특징(예: 문장 부호, 들여쓰기)을 유지한다.
• 이 방법은 향후 빔 서치 및 단일 모델 파인튜닝을 통한 확장성을 고려할 때 음악 및 벡터 그래픽스와 같은 고차원 도메인에 대해서도 실현 가능성을 보여준다.