[論文レビュー] The MATRIX: A Novel Controller for Musical Expression

Dan Overholt|arXiv (Cornell University)|Jun 1, 2001

Music Technology and Sound Studies参考文献 4被引用数 24

ひとこと要約

MATRIXは、手の動きを用いてリアルタイムで音響合成パrameterを操作できる3次元のタクトイル音楽コントローラーである。可動するロッドのアレイを用いて、音粒の合成におけるパラメータを制御し、音の微細構造を『音的に彫刻』することができる。これは、表現的で直感的な、物理的インタフェースを提供し、表現的な音楽パフォーマンスとリアルタイムオーディオ処理を可能にする。

ABSTRACT

The MATRIX (Multipurpose Array of Tactile Rods for Interactive eXpression) is a new musical interface for amateurs and professionals alike. It gives users a 3dimensional tangible interface to control music using their hands, and can be used in conjunction with a traditional musical instrument and a microphone, or as a stand-alone gestural input device. The surface of the MATRIX acts as areal-time interface that can manipulate the parameters of a synthesis engine or effect algorithm in response to a performer's expressive gestures. One example is to have the rods of the MATRIX control the individual grains of a granular synthesizer, thereby "sonically sculpting" the microstructure of a sound. In this way, the MATRIX provides an intuitive method of manipulating sound with avery high level of real-time control.

研究の動機と目的

• 表現的でリアルタイムな音響パrameter制御を可能にする、実体感のある3次元音楽インタフェースの設計。
• 従来のMIDIコントローラーの限界を克服し、複雑な音響合成をより直感的でジェスチャーに基づいた方法で操作できるようにすること。
• アマチュアおよびプロのミュージシャンが、単体でも、従来の楽器とも併用しても、物理的に表現的な方法で音にインタラクトできるようにすること。
• 音楽パフォーマンスインタフェースにおけるタクトイルフィードバックと空間的ジェスチャー制御の統合を検討すること。
• ロッドアレイを用いた音粒合成の操作とリアルタイムオーディオ処理の実現可能性を示すこと。

提案手法

• MATRIXは、5×6グリッドに配置された30本のタクトイルロッドから構成され、それぞれが垂直方向の動きによって制御パラメータを表す。
• 各ロッドの位置はセンサーシステムを用いてリアルタイムで追跡され、物理的ジェスチャーが音響合成用の制御信号に変換される。
• システムはロッドの位置を、音粒シンセサイザーのパラメータ（例：音粒密度、ピッチ、タイミング）にマッピングし、音の微細構造を『音的に彫刻』可能にする。
• マイクとオーディオ処理パイプラインを介して、単体運用と従来楽器との統合の両方をサポートする。
• リアルタイムオーディオ処理は、ロッドの動きを合成アルゴリズムへの動的入力として解釈するソフトウェアエンジンによって実現される。
• システムは反応性が高く直感的であり、パフォーマーが自然な手の動きと空間的ジェスチャーで音を形作れるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 実体感のある3次元インタフェースは、従来のコントローラーと比較して、複雑な音響合成パラメータの表現的制御をどのように向上させるか？
• RQ2 ロッドアレイは、音粒合成の微細構造をどれほど直感的でリアルタイムに操作できるか？
• RQ3 MATRIXはライブ音楽パフォーマンスの文脈で、単体でも補完的でも実用的であると見なせるか？
• RQ4 タクトイルフィードバックと空間的ジェスチャーは、パフォーマーのコントロール感と表現性にどのように寄与するか？
• RQ5 音楽用に応答性があり多次元的なジェスチャーインタフェースを実装するにあたり、技術的およびエルゴノミクス上の課題は何か？

主な発見

• MATRIXは、物理的ジェスチャーを用いてリアルタイムで音粒合成パラメータを直感的に操作でき、パフォーマーが音の微細構造を『音的に彫刻』できる。
• タクトイルで三次元的なインタフェースは、特に複雑な音響パラメータ制御において、従来のMIDIコントローラーと比較してより表現的で没入感のある体験を提供する。
• システムは単体でのオーディオ処理と、従来楽器およびマイクを含むハイブリッドセットアップへの統合に成功している。
• パフォーマーは、特に微細なオーディオディテールの操作において、MATRIXを使用することで表現性とコントロール感が向上したと報告している。
• ロッドベースの設計により、空間的かつ多次元的な制御が可能となり、パフォーマーの音への身体的統合感とインタラクションが強化される。
• ライブパフォーマンスや実験音楽の文脈において、本インタフェースの実現可能性と潜在的価値が示され、反応性と直感性について肯定的なフィードバックが得られている。