[論文レビュー] Finger Grip Force Estimation from Video using Two Stream Approach

Andrey Sartison, Dima Mironov+2 more|arXiv (Cornell University)|Mar 5, 2018

Hand Gesture Recognition Systems参考文献 13被引用数 3

ひとこと要約

本稿では、フレームからの空間的特徴とオプティカルフローからの時間的ダイナミクスを用い、カルマンフィルタを用いて統合することで、指の握力推定を非挿入的・二ストリーム動画ベースで行う手法を提案する。この手法は、センサー範囲の10%未満（約0.2 N）のRMSEを達成しており、物理的センサーを用いずに正確な力推定が可能である。本手法は、ロボットの教示やヒューマニックフィードバックシステムへの応用が可能である。

ABSTRACT

Estimation of a hand grip force is essential for the understanding of force pattern during the execution of assembly or disassembly operations. Human demonstration of a correct way of doing an operation is a powerful source of information which can be used for guided robot teaching. Typically to assess this problem instrumented approach is used, which requires hand or object mounted devices and poses an inconvenience for an operator or limits the scope of addressable objects. The work demonstrates that contact force may be estimated using a noninvasive contactless method with the help of vision system alone. We propose a two-stream approach for video processing, which utilizes both spatial information of each frame and dynamic information of frame change. In this work, image processing and machine learning techniques are used along with dense optical flow for frame change tracking and Kalman filter is used for stream fusion. Our studies show that the proposed method can successfully estimate contact grip force with RMSE < 10% of sensor range (RMSE $\approx 0.2$ N), the performances of each stream and overall method performance are reported. The proposed method has a wide range of applications, including robot teaching through demonstration, haptic force feedback, and validation of human- performed operations.

研究の動機と目的

• 計測器を装着したセンサーやマーカーを用いずに、指の握力を非挿入的に推定する手法を開発すること。
• 動画から力プロファイルを抽出することで、デモンストレーションによるロボット教示を可能にすること。
• 人間-ロボットインタラクションおよびロボットによる分解作業において、侵襲的力センサーやマーカーに基づくシステムの限界を克服すること。
• 動画データを活用して、人間作業における力と運動のアノテート済みデータセットを構築すること。
• 空間的および時間的動画ストリームを統合することで、力推定のロバスト性と精度を向上させること。

提案手法

• 二ストリーム畳み込みニューラルネットワークが、動画フレームからの空間的および時間的情報を処理する。
• 空間ストリームは、画像処理および皮膚セグメンテーションを用いて個々のフレームからの静的特徴を抽出する。
• 時間ストリームは、密なオプティカルフローを用いて運動ダイナミクスとフレーム間の変化を捉える。
• カルマンフィルタが両ストリームの出力を統合し、ノイズを低減し推定の安定性を向上させる。
• 信号フィルタリングおよび画像前処理により、照明や運動の変動に対するロバスト性が向上する。
• 訓練および評価のため、緑色のLEDトリガーを用いてFSRセンサからの真値力データと動画を同期化する。

実験結果

リサーチクエスチョン

• RQ1 物理的センサーやマーカーを一切用いずに、動画からのみ指の握力を正確に推定できるか？
• RQ2 空間的および時間的動画ストリームは、力推定においてどのように性能を発揮するか？
• RQ3 カルマンフィルタを用いた空間的および時間的ストリームの統合により、推定の精度とロバスト性が向上するか？
• RQ4 本手法は、照明の変化、手の向き、ゆっくりとした力の変化に対してどれほど感度を示すか？
• RQ5 本手法は、異なる個人および異なる物体タイプに広く一般化可能か？

主な発見

• 提案された二ストリーム手法は、RMSEが約0.2 Nに達し、センサー範囲の10%未満である。
• 空間ストリームは力の大きさにかかわらず一貫した性能を示したが、時間ストリームはゆっくりとした力の変化に対して苦戦した。
• カルマンフィルタによる統合により、全体の性能が向上し、出力の大きさに依存する感度が低減された。
• 時間ストリームは、完全なモデルとほぼ同等の性能を示したため、運動ダイナミクスそのものが強力な力関連情報を持つことが示された。
• 照明の変化に対してはロバストであったが、手の動きや皮膚色の応答遅延の影響を受ける場合があった。
• 本手法は、スマートフォンや類似電子機器の自動分解において、ロボット教示および力フィードバックに実用的であることが示された。