[論文レビュー] Virtual Reality to Study the Gap Between Offline and Real-Time EMG-based Gesture Recognition

Ulysse Côté‐Allard, Gabriel Gagnon-Turcotte+5 more|arXiv (Cornell University)|Dec 16, 2019

Muscle activation and electromyography studies参考文献 48被引用数 7

ひとこと要約

本論文は、sEMGに基づくジェスチャー認識における4つの主要な動的要因—ジェスチャー強度、肢節位置、電極ずれ、信号トランジェント—を研究するための仮想現実（VR）ベースのリアルタイム実験プロトコルを提案する。フィードバックにLeap Motionを使用することで、再利用可能でバイアスのないオンラインデータセットを生成可能となり、長期的ジェスチャー分類において微調整を上回る顕著な性能を示す転移学習モデルTADANNを導入する（p<0.05）。

ABSTRACT

Within sEMG-based gesture recognition, a chasm exists in the literature between offline accuracy and real-time usability of a classifier. This gap mainly stems from the four main dynamic factors in sEMG-based gesture recognition: gesture intensity, limb position, electrode shift and transient changes in the signal. These factors are hard to include within an offline dataset as each of them exponentially augment the number of segments to be recorded. On the other hand, online datasets are biased towards the sEMG-based algorithms providing feedback to the participants, limiting the usability of such datasets as benchmarks. This paper proposes a virtual reality (VR) environment and a real-time experimental protocol from which the four main dynamic factors can more easily be studied. During the online experiment, the gesture recognition feedback is provided through the leap motion camera, enabling the proposed dataset to be re-used to compare future sEMG-based algorithms. 20 able-bodied persons took part in this study, completing three to four sessions over a period spanning between 14 and 21 days. Finally, TADANN, a new transfer learning-based algorithm, is proposed for long term gesture classification and significantly (p<0.05) outperforms fine-tuning a network.

研究の動機と目的

• ジェスチャー認識におけるオフラインsEMGの正確性とリアルタイムの実用性の間の持続的ギャップを埋める。
• オフラインデータセットの限界を克服し、電極ずれや肢節位置の変化といった動的信号変動を捉えられないことの問題を解消する。
• データ収集中にアルゴリズムフィードバックが原因で生じるオンラインデータセットのバイアスを軽減する。
• VRを活用した再利用可能でリアルタイムの実験フレームワークを構築し、動的sEMG要因を研究する。
• セッションや被験者をまたいで一般化できる強固な長期的ジェスチャー分類モデルを提案する。

提案手法

• 制御された動的要因を伴うリアルタイムsEMG実験を実施可能なVR環境を設計する。
• オンライン試行中にフィードバックとしてLeap Motionを使用することで、データ収集におけるアルゴリズム的バイアスを回避する。
• 14〜21日間の期間にわたり20名の健常被験者を対象に3〜4回のセッションでデータを収集し、長期的変動を捉える。
• sEMGシーケンスモデリングを目的とした、転移学習に基づく深層ニューラルネットワークアーキテクチャTADANNを導入する。
• TADANNをソースドメインで訓練し、完全な再訓練なしに新しい被験者やセッションに適応させる。
• ドメイン適応技術を用いて、セッションや被験者間での特徴分布を一致させ、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ジェスチャー強度、肢節位置、電極ずれ、信号トランジェントといった動的要因が、リアルタイムsEMG認識性能にどの程度悪影響を及えるか？
• RQ2 フィードバックバイアスを導入せずに、VRベースのリアルタイムプロトコルがこれらの動的要因を効果的に捉え、研究できるか？
• RQ3 提案されたTADANNモデルは、複数のセッションにわたる長期的sEMGジェスチャー分類において、標準的な微調整と比較してどのように異なるか？
• RQ4 収集されたデータセットは、バイアスのないリアルタイム性を備えているため、将来のsEMGベースのアルゴリズムのベンチマークに再利用可能か？

主な発見

• VRベースのプロトコルは、バイアスを最小限に抑えつつsEMGにおける4つの主要な動的要因を効果的に捉えており、再利用可能なリアルタイムデータ収集を可能にする。
• TADANNは長期的ジェスチャー分類において標準的な微調整を顕著に上回り、p値 < 0.05という統計的有意性を示している。
• 14〜21日間、20名の被験者を対象に収集された本研究のデータセットは、高い変動性と現実性を備えており、ベンチマークに適している。
• Leap Motionをフィードバックに使用することでアルゴリズムの中立性が保たれ、将来のsEMGモデルの公平な比較に適したデータセットとなっている。
• TADANNはセッションや被験者をまたいでより優れた一般化性能を達成しており、時間経過に伴う性能低下を軽減している。
• 本研究は、電極ずれや信号トランジェントといった動的要因がリアルタイム認識に測定可能な悪影響を及ぼすことを確認したが、オフラインデータセットではこれを反映できないことが明らかになった。