[論文レビュー] The Supernumerary Robotic 3rd Thumb for Skilled Music Tasks

James Cunningham, Anita Hapsari+3 more|arXiv (Cornell University)|Jul 22, 2018

Advanced Sensor and Energy Harvesting Materials被引用数 5

ひとこと要約

本論文では、足元での制御により動的な鍵盤圧力を制御し、リアルタイムでの動きの追跡を可能にする、超余剰ロボット指（SR3T）を提示している。このSR3Tによりピアニストは手の届かない範囲まで鍵盤を押せるようになり、最大4度の音程拡張が可能となる。初心者ユーザーが数時間以内に11本指のピアノ演奏を実用的に行えるようになり、熟練した音楽的作業における迅速な認知的身体化と機械肢の器用な制御が示された。

ABSTRACT

Wearable robotics bring the opportunity to augment human capability and performance, be it through prosthetics, exoskeletons, or supernumerary robotic limbs. The latter concept allows enhancing human performance and assisting them in daily tasks. An important research question is, however, whether the use of such devices can lead to their eventual cognitive embodiment, allowing the user to adapt to them and use them seamlessly as any other limb of their own. This paper describes the creation of a platform to investigate this. Our supernumerary robotic 3rd thumb was created to augment piano playing, allowing a pianist to press piano keys beyond their natural hand-span; thus leading to functional augmentation of their skills and the technical feasibility to play with 11 fingers. The robotic finger employs sensors, motors, and a human interfacing algorithm to control its movement in real-time. A proof of concept validation experiment has been conducted to show the effectiveness of the robotic finger in playing musical pieces on a grand piano, showing that naive users were able to use it for 11 finger play within a few hours.

研究の動機と目的

• 超余剰ロボット肢が熟練した運動的タスク（ピアノ演奏など）において認知的に身体化され、機能的に統合可能かどうかを調査すること。
• 人間の手の届かない範囲にまで鍵盤を押せるロボット指を追加することで、ピアニストの自然な手の長さを拡張すること。
• 足の動きを用いてロボット指のダイナミクスとタイミングをリアルタイムで制御する低遅延のヒューマンロボットインターフェースを開発すること。
• 力の調整と正確さが求められる複雑な器用な作業に超余剰ロボット肢を用いることの妥当性を評価すること。
• 創造的で高精度な分野におけるロボット補助の迅速な習得と長期的有用性の可能性を探ること。

提案手法

• SR3Tは3Dプリンターで作成されたロボット指で、ユーザーの手首に装着され、サーボモーターで駆動され、リアルタイムフィードバックを得るための力センサーやエンコーダーを備えている。
• ユーザーの足に取り付けた加速度計を用いて足の動きを追跡し、足を上げる速度をロボット指の鍵盤押下速度および力にマッピングしている。
• 光学的動き追跡により手および指の位置を捉え、それらを単位球面上にマッピングすることで関節角度と動きの意図を推定している。
• 制御システムはリアルタイムアルゴリズムを用い、ロボット指の動きをピアニストの手と足の入力と同期させ、遅延を最小限に抑えている。
• データグローブを用いて自然な手の動きを追跡し、それらをロボット指の動きにマッピングすることで、直感的な連携を実現している。
• 性能評価のために、リアルタイム音声フィードバックと動き追跡を備えた grands piano 環境で、システムを検証した。

実験結果

リサーチクエスチョン

• RQ1 超余剰ロボット指は、熟練した音楽的パフォーマンスのための迅速な習得と機能的身体化が可能か？
• RQ2 足元での制御が、ピアノ演奏における正確でダイナミックな鍵盤押下の調節をどの程度可能にするか？
• RQ3 ロボット指の追加により、ピアニストの有効な手の長さと到達範囲はどの程度拡張されるか？
• RQ4 リアルタイム音楽的パフォーマンス中におけるロボット指の応答遅延と正確さはどの程度か？
• RQ5 ロボット肢は自然な手の動きや音楽的表現を妨げることなく、シームレスに使用可能か？

主な発見

• SR3Tにより、ピアニストの有効な手の長さが右方向に最大3.5度まで拡張され、範囲が4音分増加した。
• 初心者ユーザーが約1時間の練習で、5本指から6本指の指使いに移行する実用的11本指ピアノ演奏に到達した。
• 運動の意図から実行までの平均遅延は約85ミリ秒であり、低遅延のリアルタイム制御が実現した。
• 2時間にわたる連続テスト中、ユーザーはほとんど不快感を報告しなかったことから、良好な人体工学的統合が示された。
• ロボット指は白鍵・黒鍵の両方に対して正確かつダイナミックな制御が可能であり、連続した高速押鍵も可能であった。
• 初期学習段階を過ぎた後、自然な手の動きに著しい干渉が見られず、シームレスな統合が可能であることが示された。