[論文レビュー] Body Gesture Recognition to Control a Social Robot

Javier Laplaza, Joan Jaume Oliver+3 more|arXiv (Cornell University)|Jun 15, 2022

Robotics and Automated Systems被引用数 4

ひとこと要約

本稿では、自然な人間のジェスチャーを収集した独自のデータセットを用いて、社会的ロボットとの直感的で非言語的コミュニケーションを可能にするニューラルネットワークベースのボディジェスチャー認識システムを提案する。モデルは静的全身ジェスチャーを80％以上の精度で分類でき、実験結果からジェスチャー認識ロボットは遠隔操作に依存するロボットよりも自然で、社会的で快適に感じられるとユーザーが評価した。

ABSTRACT

In this work, we propose a gesture based language to allow humans to interact with robots using their body in a natural way. We have created a new gesture detection model using neural networks and a custom dataset of humans performing a set of body gestures to train our network. Furthermore, we compare body gesture communication with other communication channels to acknowledge the importance of adding this knowledge to robots. The presented approach is extensively validated in diverse simulations and real-life experiments with non-trained volunteers. This attains remarkable results and shows that it is a valuable framework for social robotics applications, such as human robot collaboration or human-robot interaction.

研究の動機と目的

• ロボット経験の有無にかかわらず、直感的でジェスチャーに基づく人間-ロボットインタラクションの方法を開発すること。
• 非専門家ボランティアが実行した全身ジェスチャーの独自データセットを作成すること。
• ユーザーの認識と関与度の観点から、従来の遠隔操作と比較してジェスチャーに基づくインタラクションを評価すること。
• ジェスチャー認識が人間-ロボットインタラクションにおける認識される社会性、自然さ、快適さを向上させるかどうかを調査すること。

提案手法

• 15名の非訓練済みボランティアが静的ポーズをとった15種類の全身ジェスチャーから成る独自データセットを収集した。
• MediaPipe Poseを用いて、動画シーケンスの最終フレームから33個の3次元ボディランドマーク（x, y, z, 可視性）を抽出した。
• 33個のボディランドマーク座標に基づいてジェスチャーを分類するため、ReLU活性化関数を用いた4層の全結合ニューラルネットワークを訓練した。
• 一般化を向上させるために、バッチ正則化とドロップアウトを用いた線形分類器をモデルが使用した。
• 実際の状況下で非専門家ユーザーを対象に、IVOロボットを用いてジェスチャー認識と遠隔操作を比較する実験を行った。
• ユーザーの認識は、7段階リッカート尺度を用いて社会性、自然さ、安全性、快適性を測定するアンケートにより評価された。

実験結果

リサーチクエスチョン

• RQ1 非専門家ユーザーは、ジェスチャーに基づくコミュニケーションと遠隔操作のどちらを人間-ロボットインタラクションにおいてより高く評価するか？
• RQ2 ジェスチャー認識は、ソーシャルロボットの認識される自然さと社会性をどの程度向上させるか？
• RQ3 深層学習モデルは、動画入力の最終フレームのみを用いて静的全身ジェスチャーを正確に分類できるか？
• RQ4 ジェスチャー認識は、ロボットとのインタラクション中のユーザーの快適さとコントロール感にどのように影響するか？
• RQ5 ジェスチャー認識は、人間-ロボット協働における認識される安全性と関与度にどのような影響を与えるか？

主な発見

• ジェスチャー認識モデルは、視覚的に類似したジェスチャーを除き、大多数のジェスチャーで80％以上の分類精度を達成した。
• ユーザーはジェスチャーに基づくインタラクションを遠隔操作よりも顕著に自然さ、社会性、快適さ、安全性の観点で高く評価した（p < 0.05）。
• ユーザーはロボットがジェスチャーを理解していると感じたことで、ロボットをより人間らしく、社会的だと認識し、より長い時間インタラクションを継続した。
• ロボットが音声と言語フィードバックを使用したことは適切であると感じられ、インタラクション体験を向上させた。
• 本研究は、ジェスチャー認識が現実世界の状況下でユーザーの認識とソーシャルロボットへの受容性を顕著に向上させることを確認した。