[論文レビュー] Kinetic surface friction rendering for interactive sonification: an initial exploration

Staas de Jong|arXiv (Cornell University)|Jul 29, 2021

Tactile and Sensory Interactions参考文献 6被引用数 3

ひとこと要約

本論文は、ユーザーが物理的インタラクション中に仮想データを音声と動的触覚フィードバックの両方で体感できるようにするため、リアルタイムでプログラマブルな運動的表面摩擦をレンダリングするタクトイルシステムを紹介する。プロトタイプは1次元の信号データを音声と摩擦パターンの両方にマッピングし、摩擦レンダリングが仮想のサウンド化されたオブジェクトに実体感をもたらすことを示している。パイロット評価では、より洗練されたマルチモーダルインタラクションの可能性が浮き彫りになった。

ABSTRACT

Inspired by the role sound and friction play in interactions with everyday objects, this work aims to identify some of the ways in which kinetic surface friction rendering can complement interactive sonification controlled by movable objects. In order to do this, a tactile system is presented which implements a movable physical object with programmable friction. Important aspects of this system include the capacity to display high-resolution kinetic friction patterns, the ability to algorithmically define interactions directly in terms of physical units, and the complete integration of audio and tactile synthesis. A prototype interaction spatially mapping arbitrary 1D signal data on a surface and directly converting these to sound and friction during movements across the surface is described. The results of a pilot evaluation of this interaction indicate how kinetic surface friction rendering can be a means for giving dynamically created virtual objects for sonification a tangible presence. Some specific possible roles for movement input and friction output are identified, as well as issues to be considered when applying and further developing this type of haptic feedback in the context of interactive sonification.

研究の動機と目的

• 運動的表面摩擦がどのようにインタラクティブなサウンド化を強化し、体感可能なフィードバックを提供するかを調査すること。
• 音声出力と同期して高解像度の摩擦パターンを動的にレンダリングできるシステムを開発すること。
• 物理的移動、音声合成、触覚フィードバックを統合した包括的なインタラクティブフレームワークを構築すること。
• 摩擦が仮想のサウンド化されたオブジェクトに知覚可能な物理的実体感を与える役割を評価すること。
• 摩擦ベースのタクトイルフィードバックのデザイン上の考慮事項と、その応用分野を特定すること。

提案手法

• 変動する表面の質感を模倣するために、プログラマブルな摩擦インターフェースを備えた移動可能な物理的オブジェクトを用いる。
• 一貫性と正確性を確保するため、物理単位（例：N/m）を用いて摩擦パターンをアルゴリズムで定義する。
• 1次元の信号データを表面に空間的にマッピングし、ユーザーの移動中に直接音声と摩擦出力に変換する。
• 音声とタクトイルの合成が完全に統合されており、同期されたリアルタイムフィードバックを可能にする。
• ユーザーの動きに応じて動的に反応するインタラクションを可能とする。表面を移動することで音声的およびタクトイル的反応が発生する。
• プロトタイプ実装により、任意の信号データを音声と摩擦フィードバックの両方へマッピングできることを示している。

実験結果

リサーチクエスチョン

• RQ1 どのようにして運動的表面摩擦をリアルタイムで効果的にレンダリングし、インタラクティブなサウンド化を補完できるか？
• RQ2 サウンド化の過程で、摩擦は仮想オブジェクトの知覚にどのような役割を果たすか？
• RQ3 ユーザーは、データ探索においてタクトイルと聴覚的フィードバックの統合をどのように認識するか？
• RQ4 信号データを摩擦と音声にマッピングする際の設計原則は何か？
• RQ5 このようなマルチモーダルフィードバックシステムの実装における技術的および知覚的課題は何か？

主な発見

• プロトタイプは、ユーザーの移動中に音声と摩擦フィードバックがリアルタイムで同期されていることを成功裏に示した。
• パイロット評価では、摩擦レンダリングが仮想のサウンド化されたオブジェクトにより強い実体感をもたらすことが示された。
• ユーザーは、音声と摩擦の両方が存在する際、より高い知覚的関与を経験したと報告した。
• システムは高解像度の摩擦パターンをサポートしており、細かく粒度の細かいタクトイルフィードバックが可能である。
• 摩擦制御に物理単位を統合することで、正確で再現可能なインタラクションデザインが可能になった。
• 研究では、音声とタクトイルフィードバックの知覚的整合性の課題が特定され、さらなる最適化が求められていることが示された。