[論文レビュー] Composing an Ensemble Standstill Work for Myo and Bela

Charles Martín, Alexander Refsum Jensenius+1 more|arXiv (Cornell University)|Dec 4, 2020

Music Technology and Sound Studies参考文献 6被引用数 10

ひとこと要約

本論文では、Myoジェスチャー・アームバンドとBela統合型プラットフォームを用いたポータブルで埋め込み型のシステムを提示し、最小限の筋肉緊張によって音が出力されるアンサンブルベースの「停止状態」パフォーマンスを可能にする。カスタムのMyo-to-BelaおよびMyo-to-OSCソフトウェアブリッジを開発することで、Linux非対応およびBLE接続制限の問題を克服し、EMGおよびIMUデータを用いたリアルタイムで低遅延な8つのサイン発音機の制御を実現。音声出力は微小な動きの間のみ発生する。これは『Stillness Under Tension』という作品で実証された。

ABSTRACT

This paper describes the process of developing a standstill performance work using the Myo gesture control armband and the Bela embedded computing platform. The combination of Myo and Bela allows a portable and extensible version of the standstill performance concept while introducing muscle tension as an additional control parameter. We describe the technical details of our setup and introduce Myo-to-Bela and Myo-to-OSC software bridges that assist with prototyping compositions using the Myo controller.

研究の動機と目的

• MyoアームバンドとBelaプラットフォームを用いた、ジェスチャー音楽のためのポータブルでリアルタイムのパフォーマンスシステムの開発。
• 複数のパフォーマーが参加する状況において、Myo ConnectのLinux非対応およびBLE接続数制限の問題の解決。
• デジタル音楽パフォーマンスにおける微小な動きと持続的な筋肉緊張の表現的潜在能力の探求。
• 最小限の動きが最大の音を生むという新しい逆マッピングを実装し、「停止状態」パフォーマンスの概念を定義。
• 埋め込み型ハードウェアに事前設定されたオーディオパッチを搭載した、信頼性の高い自己起動パフォーマンス環境の実現。

提案手法

• MyoLinuxを用いて、EMGおよびIMUデータをBela上のPure Dataパッチに直接ストリーミングするC++ベースのMyo-to-Belaレンダーファイルを開発。
• Linuxおよびその他のシステムでMyoベースのインタラクションのプロトタイピングを可能にする純PythonのMyo-to-OSCブリッジを実装。
• パフォーマー1人あたり1台のBelaを設置し、BLE経由でMyoに接続するパフォーマンス構成を設計。これにより、複数台のコンピュータを必要としない。
• Belaが事前ロードされたオーディオパッチに直接起動できる機能を活用し、40秒以内に一貫性があり信頼性の高いパフォーマンス起動を実現。
• EMG信号を発音機の振幅にマッピング、ピッチをMyoの姿勢（ピッチ）に、トーンの広がりをヨーに、歪みゲインをロール角にマッピング。
• 加速度および回転の大きさに基づくQoM（運動量）指標を実装し、運動量がしきい値を超えると即座に音声出力を停止させる。

Figure 1: Our mobile performance setup using a Bela and Myo, powered by a USB battery.

実験結果

リサーチクエスチョン

• RQ1 Myoアームバンドは、Belaのような埋め込み型オーディオプラットフォームとどのように効果的に統合され、リアルタイムでポータブルな音楽パフォーマンスが可能になるか？
• RQ2 Myo ConnectのLinux非対応およびアンサンブル環境におけるBLE接続数制限を克服する技術的解決策は何か？
• RQ3 筋肉緊張と微小な動きを、表現的で「停止状態」に基づくパフォーマンスを可能にする形で音声にマッピングする方法は何か？
• RQ4 静止状態が音声を生み出し、動きが音声を消すという逆マッピングに基づくシステムは、新しい形のアンサンブル・インタラクションを可能にするか？
• RQ5 複数人のMyoパフォーマーのEMGおよびIMUデータを同期的かつ低運動量の状態で統合した場合、実用的および表現的側面でどのような意味を持つのか？

主な発見

• カスタムのMyo-to-Bela C++レンダーファイルにより、Bela上のPure DataパッチへのEMGおよびIMUデータのリアルタイムストリーミングが成功。起動および接続の信頼性も確保された。
• Myo-to-OSC Pythonブリッジにより、Linux上でMyoベースのインタラクションのプロトタイピングが効果的に行え、クロスプラットフォーム開発およびテストを可能にした。
• 1人のパフォーマーあたり1台のBelaと1台のMyoを組み合わせた構成により、BLE接続の衝突が発生せず、標準のMyo BLEドングルの3台制限を克服した。
• 作品『Stillness Under Tension』の実演により、持続的な筋肉緊張が連続音を生み出す一方、しきい値を超える動きは数秒以内に音声出力を停止させることを実証した。
• パフォーマーは微細な筋肉の活性化と腕の位置決めにより表現的な音色の変化を達成し、個々のパラメータ設定のおかげでパフォーマーごとに明確に異なる和音的・トーン的特徴が得られた。
• 9分間のパフォーマンスで4つの異なるポーズを経て、最小限の運動を維持しながらも、音響的可能性の制御された探求が可能になった。

Figure 2: The premiere of Stillness Under Tension . Each performer could use their arm muscles to activate different oscillators, while their arm direction selected a different timbre and base frequency.