[論文レビュー] Generative Melody Composition with Human-in-the-Loop Bayesian Optimization

Yijun Zhou, Yuki Koyama+2 more|arXiv (Cornell University)|Oct 7, 2020

Music Technology and Sound Studies参考文献 17被引用数 8

ひとこと要約

本論文は、生成的メロディ compose における人間を介したベイズ最適化システムを提案し、初心者の作曲家がAIが提示するバリエーションから好ましい候補を段階的に選択することで、望ましいメロディを効率的に発見できるようにする。この手法は、優先順位フィードバックと滑らかな潜在空間探索を活用して探索作業を軽減し、シミュレーションでは収束が良好に得られ、パイロットスタディでは創造性を喚起する結果を示した。

ABSTRACT

Deep generative models allow even novice composers to generate various melodies by sampling latent vectors. However, finding the desired melody is challenging since the latent space is unintuitive and high-dimensional. In this work, we present an interactive system that supports generative melody composition with human-in-the-loop Bayesian optimization (BO). This system takes a mixed-initiative approach; the system generates candidate melodies to evaluate, and the user evaluates them and provides preferential feedback (i.e., picking the best melody among the candidates) to the system. This process is iteratively performed based on BO techniques until the user finds the desired melody. We conducted a pilot study using our prototype system, suggesting the potential of this approach.

研究の動機と目的

• 深層生成音楽モデルにおける高次元的かつ直感的でない潜在空間を効果的に探索する課題に対処すること。
• 望ましいメロディを探索する際の初心者作曲家の認知的負担と探索的負担を軽減すること。
• 人間を介したベイズ最適化が、最小限のユーザーフィードバックで効率的にメロディ探索をガイドできるかどうかを調査すること。
• システムが創造性を喚起し、直感的でインタラクティブな音楽作成を支援する能力を評価すること。

提案手法

• システムは事前に学習されたMusicVAEを用いて、メロディを滑らかで連続的な潜在空間に埋め込む。
• 各イテレーションで、ベイズ最適化により情報量の増加を最大化するようにガイドされた1次元の部分空間に沿って、5つの候補メロディを生成する。
• ユーザーは5つの候補の中から好ましいメロディを選択し、相対的（優先順位）フィードバックを提供して次の探索ステップを導く。
• アルゴリズムは確率的モデルを用いて潜在空間上の信念を更新し、ユーザーの目的とするメロディを含む可能性の高い領域に集中する。
• ユーザーは選択したメロディを直接編集できるようにし、制御性を高め、段階的な改善を支援する。
• ユーザーの創造的意図に合致するメロディが見つかるまで、このプロセスを繰り返す。

実験結果

リサーチクエスチョン

• RQ1 人間を介したベイズ最適化は、高次元の潜在空間において初心者作曲家が望むメロディに効果的に導けるか？
• RQ2 最小限のユーザーフィードバックで、システムが満足できるメロディに収束するまでに何イテレーション必要か？
• RQ3 システムは、ユーザーの初期アイデアをはるかに超えて、創造的探求やアイデアの生成をどの程度促進するか？
• RQ4 システムの提案品質は、ランダムまたはヒューリスティックベースの探索戦略と比較してどの程度優れているか？

主な発見

• シミュレーション実験では、50イテレーションでターゲットメロディとのs-DTW距離が約70％削減され、収束の有効性が示された。
• 4次元の潜在空間におけるユークリッド距離も一貫して減少し、潜在空間の滑らかさが確認された。
• パイロットスタディでは、初心者作曲家全員が2.5時間以内にメロディを完成させ、検索機能を6〜8回使用した。これは効率的なインタラクションを示している。
• 参加者らは、以前に考えたことのない新しい創造的アイデアを生み出す、革新的なバリエーションを生成したと報告した。
• ユーザーは、創造的ブロックに陥った際にも進行を可能にしたと感じ、ある参加者は「自分を救ってくれた」と述べた。
• フィードバックでは、今後のバージョンで探索の攻撃性に対する制御の強化と、順序的な音楽的文脈のより良い考慮が求められていることが示された。