[논문 리뷰] An Improved Relative Self-Attention Mechanism for Transformer with Application to Music Generation

Cheng-Zhi Anna Huang, Ashish Vaswani외 6명|arXiv (Cornell University)|2018. 09. 12.

Music and Audio Processing참고 문헌 11인용 수 57

한 줄 요약

이 논문은 메모리 복잡도를 $O(l^2d)$ 에서 $O(ld)$ 로 줄이는 향상된 상대적 자기주의 메커니즘을 제안하여 더 긴 음악 시퀀스에서의 효율적 훈련을 가능하게 한다. 이 방법은 음악 생성에서 장기적 구조 모델링을 향상시켜 훈련 시퀀스 길이를 초월한 고품질의 샘플과 일관된 계속된 음악을 생성한다.

ABSTRACT

Music relies heavily on self-reference to build structure and meaning. We explore the Transformer architecture (Vaswani et al., 2017) as a generative model for music, as self-attention has shown compelling results on tasks that require long-term structure such as Wikipedia summary generation (Liu et al, 2018). However, timing information is critical for polyphonic music, and Transformer does not explicitly model absolute or relative timing in its structure. To address this challenge, Shaw et al. (2018) introduced relative position representations to self-attention to improve machine translation. However, the formulation was not scalable to longer sequences. We propose an improved formulation which reduces the memory requirements of the relative position computation from $O(l^2d)$ to $O(ld)$, making it possible to train much longer sequences and achieve faster convergence. In experiments on symbolic music we find that relative self-attention substantially improves sample quality for unconditioned generation and is able to generate sequences of lengths longer than those from the training set. When primed with an initial sequence, the model generates continuations that develop the prime coherently and exhibit long-term structure. Relative self-attention can be instrumental in capturing richer relationships within a musical piece.

연구 동기 및 목표

• 표준 트랜스포머가 음악 생성에 있어 명시적인 시간 정보 모델링이 부족한 문제를 해결하기 위해.
• 자기주의를 활용하여 심볼릭 음악 생성에서 장기적 구조 모델링을 향상시키기 위해.
• 메모리 복잡도를 줄여 상대적 위치 표현을 더 긴 시퀀스로 확장하기 위해.
• 장거리 의존성을 갖춘 일관되고 고품질의 무조건적 및 조건부 음악 생성을 가능하게 하기 위해.

제안 방법

• 메모리 요구량을 $O(l^2d)$ 에서 $O(ld)$ 로 줄이는 재구성된 상대적 자기주의 메커니즘을 도입한다.
• Shaw 등(2018)이 처음 제안한 상대적 위치 표현 방식을 개선하여 확장성 향상을 도모한다.
• 긴 시퀀스에서 토큰 간 상대적 위치 관계를 모델링할 수 있는 능력을 유지한다.
• 심볼릭 음악을 위한 트랜스포머 기반 생성 모델 내부에 개선된 메커니즘을 적용한다.
• 음악의 구조와 일관성에 필수적인 장거리 의존성을 포착하기 위해 이 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 상대적 자기주의를 장기적인 음악 시퀀스에 적용할 때 금지적인 메모리 비용 없이 확장 가능한가?
• RQ2 향상된 상대적 자기주의 메커니즘이 무조건적 음악 생성에서 샘플 품질을 향상시키는가?
• RQ3 초기 시퀀스로 프리밍된 후 모델이 일관된 음악을 계속 생성할 수 있는가?
• RQ4 이 메커니즘이 음악의 장기적 구조적 관계를 어느 정도 잘 포착하는가?

주요 결과

• 향상된 상대적 자기주의 메커니즘은 메모리 사용을 $O(l^2d)$ 에서 $O(ld)$ 로 줄여 훨씬 긴 시퀀스에서의 훈련을 가능하게 한다.
• 표준 자기주의보다 무조건적 생성에서 더 높은 품질의 음악 샘플을 생성한다.
• 초기 시퀀스로 프리밍된 후에도 일관된 음악 연속성을 유지하며 생성한다.
• 훈련 데이터에 포함된 시퀀스 길이를 초월하는 긴 시퀀스를 성공적으로 생성하여 장거리 모델링 능력이 뛰어나다는 것을 입증한다.