[論文レビュー] An Improved Relative Self-Attention Mechanism for Transformer with Application to Music Generation

Cheng-Zhi Anna Huang, Ashish Vaswani+6 more|arXiv (Cornell University)|Sep 12, 2018

Music and Audio Processing参考文献 11被引用数 57

ひとこと要約

本論文では、メモリの複雑さを $O(l^2d)$ から $O(ld)$ に低減する改善された相対自己注意メカニズムを提案し、より長い音楽的シーケンスにおける効率的な学習を可能にした。この手法により、音楽生成における長期的な構造的モデリングが向上し、学習済みシーケンス長をはるかに超える範囲でも、高品質なサンプルと一貫性のある継続的生成が実現された。

ABSTRACT

Music relies heavily on self-reference to build structure and meaning. We explore the Transformer architecture (Vaswani et al., 2017) as a generative model for music, as self-attention has shown compelling results on tasks that require long-term structure such as Wikipedia summary generation (Liu et al, 2018). However, timing information is critical for polyphonic music, and Transformer does not explicitly model absolute or relative timing in its structure. To address this challenge, Shaw et al. (2018) introduced relative position representations to self-attention to improve machine translation. However, the formulation was not scalable to longer sequences. We propose an improved formulation which reduces the memory requirements of the relative position computation from $O(l^2d)$ to $O(ld)$, making it possible to train much longer sequences and achieve faster convergence. In experiments on symbolic music we find that relative self-attention substantially improves sample quality for unconditioned generation and is able to generate sequences of lengths longer than those from the training set. When primed with an initial sequence, the model generates continuations that develop the prime coherently and exhibit long-term structure. Relative self-attention can be instrumental in capturing richer relationships within a musical piece.

研究の動機と目的

• 音楽生成における標準的なTransformerが明示的なタイミングモデリングを欠いているという問題に対処すること。
• 自己注意を用いて、記号的音楽生成における長期的な構造的モデリングを改善すること。
• 相対位置表現を長期間シーケンスにスケーラブルに拡張するため、メモリの複雑さを低減すること。
• 長距離依存関係を捉えることにより、一貫性があり高品質な無条件および条件付き音楽生成を可能にすること。

提案手法

• メモリ要件を $O(l^2d)$ から $O(ld)$ に低減する再定式化された相対自己注意メカニズムを導入すること。
• Shaw ら (2018) が当初提唱した相対位置表現を改善して、スケーラビリティを高めること。
• 長期間シーケンスにおけるトークン間の相対的位置関係をモデル化できる能力を維持すること。
• 記号的音楽の生成に特化したTransformerベースの生成モデル内に、この改善されたメカニズムを適用すること。
• 音楽的構造と一貫性に不可欠な長距離依存関係を捉えるために、このメカニズムを用いること。

実験結果

リサーチクエスチョン

• RQ1 相対自己注意を、記憶コストが著しく増大するリスクを伴わずに、より長い音楽的シーケンスにスケーラブルに拡張できるか？
• RQ2 改善された相対自己注意メカニズムは、無条件音楽生成におけるサンプル品質を向上させるか？
• RQ3 初期シーケンスを入力として与えた場合、モデルは一貫性のある音楽的継続を生成できるか？
• RQ4 このメカニズムは、音楽における長期的な構造的関係をどの程度正確に捉えられるか？

主な発見

• 改善された相対自己注意メカニズムにより、メモリ使用量が $O(l^2d)$ から $O(ld)$ に低減され、はるかに長いシーケンスでの学習が可能になった。
• 標準的な自己注意と比較して、無条件生成における音楽的サンプルの品質が向上した。
• 初期シーケンスを入力として与えた場合、モデルは構造的一貫性を保ったまま、一貫性のある音楽的継続を生成した。
• 訓練データに含まれるシーケンス長をはるかに超える長さのシーケンスを、モデルが成功裏に生成した。これは、長距離モデリングの強靭性を示している。