[論文レビュー] Bach in 2014: Music Composition with Recurrent Neural Network

I-Ting Liu, Bhiksha Ramakrishnan|arXiv (Cornell University)|Dec 10, 2014

Music and Audio Processing参考文献 13被引用数 19

ひとこと要約

本稿では、長短期記憶（LSTM）ユニットとレジリエント伝搬（RProp）を用いた再帰的ニューラルネットワーク（RNN）フレームワークを提案し、伝統的な誤差逆伝播法による時間遅延（BPTT）と比較して、J.S. バッハのコラールの再構築および予測において優れた性能を示す。RPropを用いることで、31.91%の高い正確性と20.29%のF1スコアを達成し、収束が速く、音楽的構造および長期依存関係をよりよく捉えられる。

ABSTRACT

We propose a framework for computer music composition that uses resilient propagation (RProp) and long short term memory (LSTM) recurrent neural network. In this paper, we show that LSTM network learns the structure and characteristics of music pieces properly by demonstrating its ability to recreate music. We also show that predicting existing music using RProp outperforms Back propagation through time (BPTT).

研究の動機と目的

• 長期的な音楽的構造およびリズムパターンを捉えることができる深層学習フレームワークを、コンピュータによる音楽作曲に開発すること。
• 標準的なRNNにおける勾配消失問題が、音楽シーケンスにおける長期依存関係の学習を制限するのを是正すること。
• 重み更新にBPTTの代わりにRPropを採用することで、音楽生成における学習効率および性能を向上させること。
• モデルの既存の楽曲から学習したのち、再構築（既知の音楽の再生）および予測（新規音楽の生成）の両タスクにおける能力を評価すること。
• ニューラル音楽生成における現在の音楽表現および評価指標の限界を検討すること。

提案手法

• 音楽の順序的依存関係をモデル化するため、長短期記憶（LSTM）再帰的ニューラルネットワークを用い、長期的な音楽的構造の効果的な学習を可能にする。
• ネットワーク重みの更新に、標準的な誤差逆伝播法で見られる勾配消失の問題を回避するため、レジリエント伝搬（RProp）を最適化アルゴリズムとして採用する。
• 音楽は、ピッチ、持続時間、発音タイミングの3要素からなる離散的ノートイベントのシーケンスとして表現され、固定時間ステップ形式にエンコードされており、シーケンスモデリングを可能にする。
• 学習の安定化を図るため、教師強制（teacher-forcing）を用い、各時間ステップで正解ノートを入力する。
• テストセットにおけるバッハのコラールを用いて、フレーム単位の正確性およびF1スコアを評価し、RPropとBPTTの両方の学習法を比較する。
• 再構築（既知の楽曲を再再生）および予測（新規楽曲を生成）の両タスクにおいて、モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのRNNは、バッハのコラールのような複雑な多声音楽の構造的およびリズミカルな特徴を効果的に学習し、再構築できるか？
• RQ2 RPropは、収束速度および予測正確性の観点から、音楽生成のためのRNN学習においてBPTTを上回るか？
• RQ3 学習済みネットワークが、既存の楽曲から学習したのち、新規で妥当な音楽的構成を生成する能力をどの程度発揮できるか？
• RQ4 正確性やF1スコアといった現在の評価指標は、人間の音楽的類似性認識とどの程度相関しているか？
• RQ5 現在の音楽表現方式には、旋律と伴奏、およびノートの終了時刻を区別できないという限界がある。これは、ニューラルシーケンスモデルにおいて、どのような課題を生じさせるか？

主な発見

• RPropで学習したLSTM-RNNは、バッハのコラールデータセットにおいて、フレーム単位の正確性が31.91%、F1スコアが20.29%を達成し、BPTT（正確性21.03%、F1スコア11.84%）を顕著に上回った。
• ネットワークは急速に収束し、数十エポックのうちに全コラールを効果的に再構築できた。これは、音楽的構造の学習が効果的であったことを示している。
• RProp学習は、BPTTと比較して収束が速く、訓練中の平均二乗誤差（MSE）も低かった。訓練損失曲線の可視化比較から明らかになった。
• モデルは、フレーズ構造や和声進行といった音楽の長期依存関係を効果的に捉えており、学習後、妥当な音楽生成が可能であった。
• 高い正確性にもかかわらず、評価指標は人間の音楽的類似性認識と完全に相関しておらず、人間の知覚に基づいた評価手法の導入が求められることが示された。
• 本研究では、現在の表現方法の限界として、旋律と伴奏を区別できないこと、ノートの終了時刻を正しく表現できないことといった問題を特定し、改善された符号化方式の必要性を示唆した。