[論文レビュー] In a Silent Way: Communication Between AI and Improvising Musicians Beyond Sound

Jon McCormack, Toby Gifford+4 more|arXiv (Cornell University)|Feb 18, 2019

Music Technology and Sound Studies被引用数 5

ひとこと要約

本論文では、ライブ即興演奏中に人間の演奏者からの皮膚電気反応（SC）データをリアルタイムで使用し、感情記号に基づく可視化によってAIドラマーが内部の自信状態を共有する共同AIドラマーの提案を行う。結果として、この音楽的でないコミュニケーションが、人間のミュージシャンのフローモードを顕著に向上させ、非専門家による聴衆の評価においてもよりバランスの取れた音楽的パフォーマンスを生み出すことが示された。

ABSTRACT

Collaboration is built on trust, and establishing trust with a creative Artificial Intelligence is difficult when the decision process or internal state driving its behaviour isn't exposed. When human musicians improvise together, a number of extra-musical cues are used to augment musical communication and expose mental or emotional states which affect musical decisions and the effectiveness of the collaboration. We developed a collaborative improvising AI drummer that communicates its confidence through an emoticon-based visualisation. The AI was trained on musical performance data, as well as real-time skin conductance, of musicians improvising with professional drummers, exposing both musical and extra-musical cues to inform its generative process. Uni- and bi-directional extra-musical communication with real and false values were tested by experienced improvising musicians. Each condition was evaluated using the FSS-2 questionnaire, as a proxy for musical engagement. The results show a positive correlation between extra-musical communication of machine internal state and human musical engagement.

研究の動機と目的

• AIの内部状態を音楽的でない方法でコミュニケーションすることで、リアルタイムの即興演奏における人間の音楽的関与に与える影響を調査すること。
• 感情記号によるAIの自信の可視化が、人間-AI音楽デュオにおける信頼性と協働性を向上させるかどうかを評価すること。
• 生体情報フィードバック（皮膚電気反応）が即興演奏中のAIの行動と人間のパフォーマンスに与える影響を評価すること。
• 聴衆が音楽的でない手がかりを含むパフォーマンスを、よりバランスの取れたもので魅力的だと感じるかどうかを特定すること。
• 聴覚的でない手がかりが、人間と創造的AIシステムとの間でフローを促進し、効果的な共同創造を可能にする役割を明らかにすること。

提案手法

• AIドラマーは、音楽的パフォーマンスデータと人間の即興演奏者からのリアルタイム皮膚電気反応（SC）測定値を用いて訓練された。
• AIの内部的自信レベルをリアルタイムで表すための感情記号システムが実装され、パフォーマンス中に表示された。
• 経験豊富な即興演奏者による実験では、2つの条件（真実の状態：感情記号が実際の自信と一致、偽りの状態：感情記号が自信と不一致）を比較した。
• 音楽的関与は、フローと関与度を測定するためのFSS-2アンケートを用いて測定された。
• 聴衆の評価は、96名の参加者を対象にオンラインA/B聴取テストを実施し、音楽的バランスと関心度を比較した。
• 人間の演奏者から収集された生体情報データ（SC）は、AIの生成プロセスに影響を与える可能性を検討する目的で収集された。

実験結果

リサーチクエスチョン

• RQ1 感情記号によるAI内部状態の可視化が、即興演奏中の人間ミュージシャンのフロー感覚と関与度に向上するか？
• RQ2 実際の自信状態を反映する真実の音楽的でないコミュニケーション（感情記号が実際の自信を反映）と、偽りのコミュニケーション（感情記号が自信と不一致）を比較した場合、音楽的質感と協働効果性にどのような差が生じるか？
• RQ3 皮膚電気反応のような生体情報フィードバックを、AIの行動を最適化し、人間-AI即興演奏の調和を高めるために効果的に使用できるか？
• RQ4 非専門家の聴衆は、音楽的でない手がかりを含むAIパフォーマンスと含まないパフォーマンスを、音楽的バランスと関心度においてどのように評価するか？
• RQ5 音楽的でないコミュニケーションは、人間-AI音楽的共同作業における信頼性とリスクテイキングに、どの程度寄与するか？

主な発見

• 真実の可視化条件では、偽りの条件と比較して、音楽的バランスの認識が顕著に高く、55％の聴衆が真実のトラックをよりバランスの取れていると選択した。
• A/B聴取テストの結果、53％の参加者が真実の条件をより魅力的だと感じ、55％がよりバランスの取れていると評価しており、統計的に有意な好みの傾向が示された。
• 感情記号を用いた自信状態の可視化により、FSS-2アンケートによる測定で、人間ミュージシャンのフロー状態の達成が向上した。
• 以前の研究で皮膚電気反応とフローの関連が示唆されてはいるが、本研究ではSCデータの使用が人間演奏者の体験を向上させなかった。これは、センサーが手首に装着されていたことが要因である可能性がある。
• 聴衆の評価結果から、音楽的でない手がかりが、非専門家を含む聴衆の視点からも人間-AI即興演奏の質感を向上させていることが示唆された。
• 本研究は、AIの内部状態を聴覚的でない手がかりで共有することで、より魅力的で効果的な人間と機械の共同創造が実現可能であるという仮説を支持している。