[論文レビュー] ShIFT: A Semi-haptic Interface for Flute Tutoring

Gus Xia, Carter Jacobsen+3 more|arXiv (Cornell University)|Mar 18, 2018

Tactile and Sensory Interactions参考文献 8被引用数 10

ひとこと要約

ShIFTは、指使いの動きに触覚フィードバックを用いて、1オクターブを超える広い音高範囲にわたる完全な音楽的フレーズをリアルに指導できるセミハプティクスインターフェースを導入する。吹き方やエムボチャアチュアの自然な制御を維持しながら、指使いの動きをガイドする。評価では、音声付き動画指導と比較して学習速度が30%速くなった。ただし、音程が正確に聞き取れない人（音程に障害のある人）は対象外である。

ABSTRACT

Traditional instrument learning is time-consuming. It begins with learning music notation and necessitates layers of sophistication and abstraction. Haptic interfaces open another door to the music world for the vast majority of beginners when traditional training methods are not effective. However, existing haptic interfaces can only deal with specially designed pieces with great restrictions on performance duration and pitch range due to the fact that not all performance motions could be guided haptically for most instruments. Our system breaks such restrictions using a semi-haptic interface. For the first time, the pitch range of the haptically learned pieces goes beyond an octave (with the fingering motion covers most of the possible choices) and the duration of learned pieces cover a whole phrase. This significant change leads to a more realistic instrument learning process. Experiments show that our semi-haptic interface is effective as long as learners are not "tone deaf." Using our prototype device, the learning rate is about 30% faster compared to learning from videos.

研究の動機と目的

• 既存のハプティクスインターフェースが音程範囲や演奏時間に制限を受ける問題を克服すること。
• セミハプティクスフィードバックを用いて、指使いのガイドを提供することで、完全な音楽的フレーズと広い音程範囲のリアルな flute 学習を可能にすること。
• 指使いのハプティクスガイドを統合することで、従来の音楽学習の認知的負荷を軽減し、自然な吹き方とエムボチャアチュア技術を維持すること。
• 初心者 flute プレイヤーの学習速度と正確性の向上に、セミハプティクスフィードバックが効果的かどうかを評価すること。

提案手法

• システムは、指使いの動きをガイドするためのハプティクスアクチュエータを備えたカスタムウェアラブルデバイスを使用している。
• 指使いの動きにのみ選択的にハプティクスフィードバックを適用し、吹き方とエムボチャアチュアはユーザーの自然な制御に任せる。
• 楽曲フレーズを、楽器全範囲にわたる特定の指キー押下に対応するハプティクスシグナルのシーケンスにマッピングする。
• システムは1オクターブを超えるフレーズをサポートし、指使いのカバー範囲がフルートのほぼ全 playable ノートをカバーする。
• 制御された実験を通じて、動画指導と比較した学習速度と正確性の評価を実施。

実験結果

リサーチクエスチョン

• RQ1 セミハプティクスインターフェースは、1オクターブや限定時間にとどまらない、完全な音楽的フレーズの指導に有効に機能するか？
• RQ2 初心者 flute プレイヤーにおいて、指使いのハプティクスフィードバックは動画指導と比較して学習速度を向上させるか？
• RQ3 自然な吹き方とエムボチャアチュア制御を維持することで、学習プロセスのリアリズムはどの程度保たれるか？
• RQ4 音程に障害のない学習者に対して、システムはどのように機能するか。また、有効性の閾値は何か？

主な発見

• セミハプティクスインターフェースにより、1オクターブを超えるフレーズの学習が可能になり、従来のハプティクスシステムと比較して学習範囲が著しく拡大された。
• システムは完全フレーズ学習をサポートし、指使いのガイドがフルートのほぼ全音程範囲をカバーした。
• ShIFT を使用した学習者は、動画指導を受ける学習者と比較して、学習速度が30%速かった。
• 音程に障害のない学習者に対して、システムは有効であった。これは、音程認識能力が成功の鍵となる前提条件であることを示している。