[論文レビュー] The Bach Doodle: Approachable music composition with machine learning at scale

Cheng-Zhi Anna Huang, Curtis Hawthorne+5 more|arXiv (Cornell University)|Jul 14, 2019

Music and Audio Processing参考文献 32被引用数 41

ひとこと要約

本論文は、Coconet によって動作するブラウザ内ハーモナイゼーションツール「Bach Doodle」を紹介し、TensorFlow.js に移植して高速化を図り、約 400 KB の小型モデルと、2,160万件のユーザー生成ハーモナイゼーションと 5500万件のリクエストから成る大規模公開データセットを提供します。また、平行五度・完全五度の分析や、ローカル推論と TPU バックエンド推論の展開選択についても検討します。

ABSTRACT

To make music composition more approachable, we designed the first AI-powered Google Doodle, the Bach Doodle, where users can create their own melody and have it harmonized by a machine learning model Coconet (Huang et al., 2017) in the style of Bach. For users to input melodies, we designed a simplified sheet-music based interface. To support an interactive experience at scale, we re-implemented Coconet in TensorFlow.js (Smilkov et al., 2019) to run in the browser and reduced its runtime from 40s to 2s by adopting dilated depth-wise separable convolutions and fusing operations. We also reduced the model download size to approximately 400KB through post-training weight quantization. We calibrated a speed test based on partial model evaluation time to determine if the harmonization request should be performed locally or sent to remote TPU servers. In three days, people spent 350 years worth of time playing with the Bach Doodle, and Coconet received more than 55 million queries. Users could choose to rate their compositions and contribute them to a public dataset, which we are releasing with this paper. We hope that the community finds this dataset useful for applications ranging from ethnomusicological studies, to music education, to improving machine learning models.

研究の動機と目的

• 幅広い層に向けて、アクセスしやすく拡張性のある AI 搭載の音楽ハーモナイゼーション体験を実証する。
• 機械学習を用いた作曲の敷居を下げる、ブラウザベースのインターフェースを設計する。
• ウェブおよびクラウド実行時の大規模展開を前提に、神経対位モデル（Coconet）をデプロイおよび最適化する。
• 民族音楽学、教育、機械学習の改善研究を促進するため、ユーザーインタラクションの大規模な公開データセットを公開する。

提案手法

• ブラウザで実行するために Coconet を TensorFlow.js で再実装し、フォールバック計算のために TPU サーバへポートする。
• 膨張した深さ方向分離畳み込みと演算融合を適用して推論レイテンシを低減する。
• 学習後量子化によるウェイトの後処理でモデル重みを圧縮し、ダウンロードサイズを約400 KBにする。
• ブラウザベースのスピードテストを較正して、ハーモナイゼーションリクエストに対してローカル TF.js かリモート TPU を選択する。
• メロディ、ハーモナイゼーション、評価、メタデータを含むユーザーインタラクションのデータセットを収集・分析する。

実験結果

リサーチクエスチョン

• RQ1 バッハ風ハーモナイゼーションモデルを、ブラウザベースの大規模な対話に対して使いやすく、かつ高速にするにはどうすればよいか。
• RQ2 音楽的訓練が少ないユーザーが効果的にメロディを入力し、ハーモナイゼーションを受け取れるようなインターフェースとインタラクション設計とは。
• RQ3 ローカルのブラウザ実行と TPU サーバ上実行の遅延とユーザー体験の観点から、Coconet をどのように比較するのか。
• RQ4 現実の多様なユーザーベースにおけるスタイル的一致性（例：平行五度・五度の回避）とユーザー評価品質の観点で、モデルはどのように性能を発揮するか。

主な発見

• TF.js へ移植された Coconet は、膨張した深さ方向分離畳み込みと演算融合を用いて、ブラウザ内で約2秒のハーモナイゼーション遅延を達成する。
• 学習後量子化により、モデルのダウンロードサイズを約400 KBへ削減。
• ハイブリッド実行戦略：ハーモナイゼーションの約47.4%をローカルで実行し、残りのリクエストを TPU バックエンドで処理。
• 分析済みハーモナイゼーションは約2180万件を超え、P5sとP8sは平均で小節あたり0.365および0.391の頻度で発生し、入力分布とユーザーフィードバックと相関している。
• 5500万件のリクエストに対し、ユーザーは858万セッションで2160万件のユニークなシーケンスを生成；ハーモナイゼーションの53.8% が Good と評価。
• データセット公開（CCライセンス）は民族音楽学、教育、機械学習研究の応用を可能にする。