[論文レビュー] The Machine Learning Algorithm as Creative Musical Tool

Rebecca Fiebrink, Baptiste Caramiaux|arXiv (Cornell University)|Nov 1, 2016

Music Technology and Sound Studies被引用数 25

ひとこと要約

この論文は、機械学習アルゴリズムを、音楽的創造のためのインタラクティブなインターフェースとして再定義することで、音楽家と音源生成システムの間の新しい相互作用的関係を可能にする。データによる学習をコードによるプログラミングではなく、システムに教えることで、従来のルールベースのプログラミングを超える表現性と適応性を持つ、自発的で創造的な行動が生じる。

ABSTRACT

Machine learning is the capacity of a computational system to learn structures from datasets in order to make predictions on newly seen data. Such an approach offers a significant advantage in music scenarios in which musicians can teach the system to learn an idiosyncratic style, or can break the rules to explore the system's capacity in unexpected ways. In this chapter we draw on music, machine learning, and human-computer interaction to elucidate an understanding of machine learning algorithms as creative tools for music and the sonic arts. We motivate a new understanding of learning algorithms as human-computer interfaces. We show that, like other interfaces, learning algorithms can be characterised by the ways their affordances intersect with goals of human users. We also argue that the nature of interaction between users and algorithms impacts the usability and usefulness of those algorithms in profound ways. This human-centred view of machine learning motivates our concluding discussion of what it means to employ machine learning as a creative tool.

研究の動機と目的

• 機械学習アルゴリズムを受動的な統計的ツールとしてではなく、音楽的創造のための能動的かつインタラクティブなインターフェースとして再定義すること。
• 機械学習のインタラクション設計が、音楽技術の使いやすさと芸術的潜在能力にどのように影響を与えるかを調査すること。
• 創造プロセス中にユーザーとアルゴリズムがフィードバックループを通じて共に進化する様子を検証し、自発的な音楽的行動を生じさせること。
• 機械学習を単なる正確性の追求としてではなく、人間中心で芸術的視点を重視した応用形態として提案し、従来の見方を挑戦すること。
• 決定論的ルールベースのシステムに代わって、表現性、驚き、ユーザー主導の探求を重視する、音楽技術における新しい設計パラダイムを提唱すること。

提案手法

• 音楽的創造におけるユーザーの目的と関連づけて、機械学習のアフォーダンスを分析することで、機械学習を人間-コンピュータインターフェースとして位置づける。
• 実験的音楽およびエレクトロアコースティック音楽の事例研究を用い、音楽家がコードではなくデータによってシステムに教える方法を示す。
• ユーザーがトレーニングデータとテストデータをリアルタイムで操作することで、システムの挙動を即座に調整するインタラクティブで反復的な設計プロセスを強調する。
• 人間とアルゴリズムの間でフィードバックを通じて相互に適応する「共同設計」の概念を導入する。
• 会話や航海をたとえに用い、ユーザーとMLシステムの間の非線形的でダイナミックな関係性を説明する。
• アルゴリズムの行動はデータ駆動の学習から生じ、明示的なプログラミングを超える、予期しない音響的結果をもたらすことを提唱する。

実験結果

リサーチクエスチョン

• RQ1 機械学習アルゴリズムは、単なる予測モデルではなく、音楽的創造におけるインタラクティブなインターフェースとしてどのように理解されるべきか？
• RQ2 機械学習アルゴリズムのアフォーダンスは、音楽家や音芸術家が目指す芸術的目標とどのように交差するか？
• RQ3 ユーザーとアルゴリズムのインタラクションの性質は、音楽技術の使いやすさと創造的潜在能力にどのように影響を与えるか？
• RQ4 ユーザーとアルゴリズムの間のフィードバックが、音楽的表現とシステム挙動の共進化に果たす役割は何か？
• RQ5 機械学習は、どのようにルールベースのシステムよりも表現性が高く、適応的で開放的である音楽的システムの設計を支援できるか？

主な発見

• 機械学習により、音楽家はコードを書くのではなく、データ例を用いて教えることで、表現的で個性的な音楽的システムを構築できる。
• ユーザーとアルゴリズムの間のインタラクションは共進化を促進する：ユーザーが入力を調整するにつれ、システムの挙動が変化し、ユーザー自身もシステムの理解を洗練させる。
• ユーザーとアルゴリズムの間のフィードバックループにより、初期の入力が不一致や誤りであっても、時間の経過とともに性能と一貫性が向上する。
• 機械学習システムは、音楽的インタラクションにおいて「荒々しい船」や「賢い友」として機能し、従来の制御パラダイムを超える驚きとダイナミックな反応性をもたらす。
• 機械学習の音楽的創造的潜在能力は、正確性に限られるのではなく、データ駆動の学習によって、明示的なプログラミングを超える、まったく新しい予期しない音響的関係性を生み出す能力にかかっている。
• 学習アルゴリズムをインターフェースとして捉えることで、身体的音楽的実践を反映する、より直感的で探求的で芸術的に意味のある音楽技術の設計が可能になる。