[論文レビュー] Spiking Neural Networks for Early Prediction in Human Robot Collaboration

Tian Zhou, Juan Wachs|arXiv (Cornell University)|Jul 29, 2018

Action Observation and Synchronization参考文献 55被引用数 5

ひとこと要約

本論文では、マルチモーダルなキュー（身体的、神経的、生理的）を用いて、人間とロボットの協働における人間のターンチェンジの意図を予測するスパikingニューラルネットワークモデルであるTurn-Taking Spiking Neural Network（TTSNet）を提案する。100%のアクション完了時においてF1スコア0.894を達成し、アクションの40%未満の情報が与えられた場合に人間の性能を上回り、手術現場におけるプロアクティブなロボット支援を可能にする。

ABSTRACT

This paper introduces the Turn-Taking Spiking Neural Network (TTSNet), which is a cognitive model to perform early turn-taking prediction about human or agent's intentions. The TTSNet framework relies on implicit and explicit multimodal communication cues (physical, neurological and physiological) to be able to predict when the turn-taking event will occur in a robust and unambiguous fashion. To test the theories proposed, the TTSNet framework was implemented on an assistant robotic nurse, which predicts surgeon's turn-taking intentions and delivers surgical instruments accordingly. Experiments were conducted to evaluate TTSNet's performance in early turn-taking prediction. It was found to reach a F1 score of 0.683 given 10% of completed action, and a F1 score of 0.852 at 50% and 0.894 at 100% of the completed action. This performance outperformed multiple state-of-the-art algorithms, and surpassed human performance when limited partial observation is given (< 40%). Such early turn-taking prediction capability would allow robots to perform collaborative actions proactively, in order to facilitate collaboration and increase team efficiency.

研究の動機と目的

• ロボットが共同作業において人間のターンチェンジを予測できる認知モデルの開発を目的とする。
• 身体的、神経的、生理的といったマルチモーダルなキューを統合し、人間の意図を堅牢かつ明確に予測することを目的とする。
• 提案されたモデルのリアルタイムな人間-ロボット協働における性能を評価することを目的とする。特に手術支援の場面を想定する。
• 部分的観測条件下で、モデルが既存のアルゴリズムおよび人間の専門家を上回ることを示すこと。

提案手法

• TTSNetフレームワークは、人間-ロボット相互作用における時間的ダイナミクスをモデル化するためにスパikingニューラルネットワークを採用する。
• 動き、注視、およびEMGやEEGなどの生理的信号を含む、暗黙的および明示的なマルチモーダル信号を統合する。
• ネットワークは部分的なアクションシーケンスに基づいてターンチェンジイベントのタイミングを予測するように訓練される。
• モデルは時間的情報を効率的に処理し、生物学的神経処理を模倣するスパikingニューロンアーキテクチャを用いる。
• システムは、手術タスク中の外科医の器具要求を予測するロボットナースのシナリオで評価される。
• 性能は、アクション完了の各段階（10%、50%、100%）におけるF1スコアで測定される。

実験結果

リサーチクエスチョン

• RQ1 スパキングニューラルネットワークは、マルチモーダルなキューを用いて、人間-ロボット協働における人間のターンチェンジの意図を効果的に予測できるか？
• RQ2 部分的観測条件下で、TTSNetモデルはどの程度の早期に高い正確性でターンチェンジイベントを予測できるか？
• RQ3 TTSNetモデルは、早期予測タスクにおいて最先端のアルゴリズムおよび人間の専門家を上回るか？
• RQ4 神経的および生理的信号の統合が、予測の堅牢性および正確性に与える影響は何か？

主な発見

• TTSNetは、アクションの10%完了時にF1スコア0.683を達成した。
• 50%のアクション完了時にF1スコアは0.852に向上し、100%完了時には0.894に達した。
• アクションシーケンスが40%未満の状態で、早期予測において人間の性能を上回った。
• 身体的、神経的、生理的キューの統合により、予測の堅牢性および正確性が向上した。