[論文レビュー] Exploring XAI for the Arts: Explaining Latent Space in Generative Music

Nick Bryan–Kinns, Berker Banar+5 more|arXiv (Cornell University)|Aug 10, 2023

Music and Audio Processing被引用数 10

ひとこと要約

本論文は、潜在空間正則化、リアルタイムUI、および視覚化を通じて、潜在空間生成音楽モデル（MeasureVAE）をより説明可能にし、対話的なデバッグと共創的利用を可能にする方法を示す。

ABSTRACT

Explainable AI has the potential to support more interactive and fluid co-creative AI systems which can creatively collaborate with people. To do this, creative AI models need to be amenable to debugging by offering eXplainable AI (XAI) features which are inspectable, understandable, and modifiable. However, currently there is very little XAI for the arts. In this work, we demonstrate how a latent variable model for music generation can be made more explainable; specifically we extend MeasureVAE which generates measures of music. We increase the explainability of the model by: i) using latent space regularisation to force some specific dimensions of the latent space to map to meaningful musical attributes, ii) providing a user interface feedback loop to allow people to adjust dimensions of the latent space and observe the results of these changes in real-time, iii) providing a visualisation of the musical attributes in the latent space to help people understand and predict the effect of changes to latent space dimensions. We suggest that in doing so we bridge the gap between the latent space and the generated musical outcomes in a meaningful way which makes the model and its outputs more explainable and more debuggable.

研究の動機と目的

• XAIを生成音楽に適用して理解とデバッグを支援する方法を実証する。
• 潜在次元を意味のある音楽属性へ対応付けることで説明可能性を高める。
• 潜在空間の操作を探るためのリアルタイムで使いやすいインターフェイスを提供する。
• 潜在空間の構造を可視化し、変化が出力へどう影響するかをユーザーが予測できるようにする。

提案手法

• MeasureVAEを潜在空間正則化で拡張し、最初の4つの潜在次元を音楽属性（リズムの複雑さ、音域、ノート密度、平均間隔ジャンプ）と整合させる。
• 20,000 曲のモノフォニック・アイルランド民謡を用いて訓練し、VAE目的関数に属性別正則化損失を追加して最適化する。
• 潜在次元を操作し、可視化と再生のために10,000の復元変種を生成する、LSRあり/なしの2つのウェブUIを開発する。
• 視覚化を提供する：訓練データ寄与プロットと、2D潜在パッドごとに2つのサーフェスマップを用いて属性マッピングと出力予測を示す。
• 属性の次元別予測可能性（解釈性スコア）を用いて解釈性を評価する。
• 潜在次元を変更すると生成音楽が即座に更新されるリアルタイムフィードバックループを実証する。

Figure 1 : The simplified MeasureVAE

実験結果

リサーチクエスチョン

• RQ1 潜在空間正則化は、生成音楽モデルにおける潜在次元を意味のある音楽属性とどう整合させられるか。
• RQ2 リアルタイムUIと視覚化は、MeasureVAEにおける潜在空間操作の理解とデバッグを改善できるか。
• RQ3 潜在次元を公開・整合させることが、AI音楽システムの説明可能性と共創的相互作用にどのような影響を与えるか。

主な発見

• LSRは最初の4つの潜在次元を単調にリズムの複雑さ、音域、ノート密度、平均間隔ジャンプへマッピングさせる。
• LSRは解釈可能な次元を達成し、4つの属性の解釈性スコアの平均は0.92（リズムの複雑さ0.80、音域0.99、ノート密度0.99、平均間隔ジャンプ0.91）となる。
• LSRの再構成精度：訓練時99.87%、検証時99.68%（非LSR：99.84%、99.77%）。
• 2つのウェブUIは潜在空間パッドのリアルタイム操作と、入力と生成された音符の再生を可能にする。
• サーフェスマップと訓練データ寄与プロットは、潜在空間の変化が出力に与える影響を直感的に視覚的に示す。
• このアプローチはフィードバックループとより高い根拠づけを支援し、より効果的なデバッグと共創的相互作用を可能にする。

Figure 2 : The simplified MeasureVAE with LSR