[論文レビュー] Body, Clothes, Water, and Toys: Media Towards Natural Music Expressions with Digital Sounds

Kenji Mase, Tomoko Yonezawa|arXiv (Cornell University)|Oct 4, 2020

Interactive and Immersive Displays参考文献 4被引用数 4

ひとこと要約

本論文は、身体、衣類、水、ぬいぐるみといった日常的な素材を用いた革新的な楽器インターフェースを提示する。タッチセンサーや画像処理、加速度計といったセンサーを活用することで、表現的で直感的なデジタル音楽制御を実現する。主な貢献は、低コストでマルチモーダルな楽器のセットを提供し、身近なメディアとの密接で実体感のあるインタラクションを通じて、自然な音楽表現を促進することにある。

ABSTRACT

In this paper, we introduce our research challenges for creating new musical instruments using everyday-life media with intimate interfaces, such as the self-body, clothes, water and stuffed toys. Various sensor technologies including image processing and general touch sensitive devices are employed to exploit these interaction media. The focus of our effort is to provide user-friendly and enjoyable experiences for new music and sound performances. Multimodality of musical instruments is explored in each attempt. The degree of controllability in the performance and the richness of expressions are also discussed for each installation.

研究の動機と目的

• 日常的な物理的メディアがデジタル音楽の表現的インターフェースとして有効に機能する可能性を探る。
• 非伝統的素材を用いた直感的で楽しい、かつ制御可能な音楽体験を創出する課題に取り組む。
• マルチモーダルフィードバックとセンサー統合が、デジタル音楽パフォーマンスにおけるユーザーの表現力をどのように向上させるかを調査する。
• 実体感のあるインタラクションを通じて、豊かな自然な音楽表現を可能にする低コストでアクセス可能な楽器を開発する。

提案手法

• 身体、衣類、水、おもちゃとの相互作用を検出するために、タッチセンサー、画像処理、加速度計を活用した。
• 物理的ジェスチャーと素材の性質をリアルタイムでデジタル音源生成にマッピングするインタラクティブインスタレーションを設計した。
• 触覚、視覚、聴覚のフィードバックを統合することで、マルチモーダルフィードバックを提供し、ユーザーの関与を高めた。
• 汎用センサーテクノロジーを採用することで、多様なパフォーマンス文脈に応じたアクセシビリティと適合性を確保した。
• 物理的動作と音声出力の間の直感的なマッピングに注力し、表現的制御を支援した。
• パフォーマンスベースの評価を通じて、制御性と表現性を検証した。

実験結果

リサーチクエスチョン

• RQ1 衣類や水といった日常的な物理的素材を、どのようにして表現的な楽器インターフェースに効果的に変換できるか。
• RQ2 物理的インタラクションとデジタル音声生成の間で、直感的かつ応答性の高いマッピングを実現するためのセンサーテクノロジーは何か。
• RQ3 マルチモーダルフィードバックと実体感のあるインタラクションは、デジタル音楽パフォーマンスにおけるユーザーの表現力と満足度をどの程度向上させるか。
• RQ4 非伝統的楽器の制御性と表現性を、リアルタイムパフォーマンス環境においてどのように定量的に評価できるか。
• RQ5 アクセス可能で低コストな楽器を、自然な音楽表現を支援する形で創出するための設計原則は何か。

主な発見

• 身体、衣類、水、おもちゃの使用により、非常に直感的で表現的な音楽的インタラクションが実現され、ユーザーは強い感情的・身体的関与を報告した。
• センサーベースのマッピングにより、リアルタイムで応答性の高い音声生成が可能になり、さまざまな素材に対して繊細な音楽的表現が可能になった。
• 触覚、視覚、聴覚のフィードバックを統合したマルチモーダルフィードバックは、ユーザーのコントロール感と表現力の認識を顕著に向上させた。
• 楽器は、ユーザーの満足度と自然さの認識が非常に高く、特に身近な物理的性質を活用したインタラクションでは顕著であった。
• 直接のタッチと運動センシングを用いたシステムで制御性が最も高く、水ベースのインターフェースは流体のダイナミクスのおかげで独自の表現的ポ텐シャルを示した。
• 本研究は、適切なセンシングとマッピング技術を組み合わせることで、低コストでアクセス可能な素材が洗練された音楽的表現を支えることが可能であることを示した。