[論文レビュー] Early Prediction for Physical Human Robot Collaboration in the Operating Room

Tian Zhou, Juan Wachs|arXiv (Cornell University)|Sep 26, 2017

Social Robot Interaction and HRI参考文献 44被引用数 5

ひとこと要約

本稿では、スクリーブナースのロボット（RSN）向けに、音声、ジェスチャー、EEG、EMG信号を用いて外科医の器械要求を予測するマルチモーダル早期ターンキーピング予測アルゴリズムを提示する。LSTMベースのモデルは、アクションの30%完了時点でF1スコア0.80を達成し、早期予測において人間ベースラインを上回り、全アクションを観測した際にはF1スコア0.90に達する。

ABSTRACT

To enable a natural and fluent human robot collaboration flow, it is critical for a robot to comprehend their human peers' on-going actions, predict their behaviors in the near future, and plan its actions correspondingly. Specifically, the capability of making early predictions is important, so that the robot can foresee the precise timing of a turn-taking event and start motion planning and execution early enough to smooth the turn-taking transition. Such proactive behavior would reduce human's waiting time, increase efficiency and enhance naturalness in collaborative task. To that end, this paper presents the design and implementation of an early turn-taking prediction algorithm, catered for physical human robot collaboration scenarios. Specifically, a Robotic Scrub Nurse (RSN) system which can comprehend surgeon's multimodal communication cues and perform turn-taking prediction is presented. The developed algorithm was tested on a collected data set of simulated surgical procedures in a surgeon-nurse tandem. The proposed turn-taking prediction algorithm is found to be significantly superior to its algorithmic counterparts, and is more accurate than human baseline when little partial input is given (less than 30% of full action). After observing more information, the algorithm can achieve comparable performances as humans with a F1 score of 0.90.

研究の動機と目的

• 外科手術室における能動的で予測可能な人間-ロボット協働を可能にするために、外科医の器械要求を明示的に述べる前に対応する予測を行う。
• 高スピードな手術環境におけるロボットの運動計画に必要な時間制約に起因する課題を解決する。
• ターンキーピング移行時の相互沈黙や対立を低減することで、協働のなめらかさを向上させる。
• 多様なモダリティ（音声、ジェスチャー、EEG、EMG）の手がかりを活用して、堅牢な早期予測を実現するシステムを開発する。
• 人間ベースラインおよび最先端手法と比較して、早期予測シナリオにおけるアルゴリズムのパフォーマンスを検証する。

提案手法

• システムは、Myoアームバンド（EMG）、Epocヘッドセット（EEG）、Kinect（ジェスチャー）、音声（音声）を用いて、外科医の行動をモニタリングするマルチモーダル信号を収集する。
• 再帰的ニューラルネットワーク（LSTM）は、マルチモーダル特徴の時系列系列を処理し、ターンキーピングイベントを予測する。
• センサーフュージョンにはDempster-Shafer理論を採用し、複数モダリティからの証拠を統合することで、予測の信頼性を向上させる。
• モデルは、注釈付きの器械要求イベントを含むシミュレーテッド手術データセット上で訓練および評価される。
• 早期予測は、アクション時間の0–40%の各時点において評価され、F1スコアを用いてパフォーマンスを測定する。
• 実行時における動的特徴選択は、ランタイム適合性の観点から検討されたが、本研究では完全に実装されていない。

実験結果

リサーチクエスチョン

• RQ1 限られた入力条件下で、マルチモーダルで早期のターンキーピング予測が人間ベースラインを上回るか？
• RQ2 センサーフュージョンを組み合わせたLSTMベースのモデルは、アクションの完全完了前に対象のターンキーピングイベントをどれほど効果的に予測できるか？
• RQ3 部分的入力（例：アクション時間の30%）を用いた場合と全入力と比較して、アルゴリズムのパフォーマンスにどの程度の向上が見られるか？
• RQ4 F1スコアおよび早期予測能力の観点から、本手法は既存の最先端のターンキーピング予測アルゴリズムと比較してどの程度優れているか？
• RQ5 手術タスク進行状況からの文脈的手がかりは、時間の経過とともに予測精度をどの程度向上できるか？

主な発見

• 提案されたアルゴリズムは、アクションの30%完了時点でF1スコア0.80を達成し、同条件での人間ベースラインを上回る。
• アクションが進行するにつれ、F1スコアは全アクション観測時で0.90に上昇し、人間水準のパフォーマンスに達する。
• 特に部分的入力条件下において、アルゴリズム的対比手法に比べて顕著に優れた性能を示す。
• 音声、ジェスチャー、EEG、EMGのマルチモーダル信号とLSTM、Dempster-Shafer融合の組み合わせにより、予測の堅牢性と正確性が向上する。
• 既存手法がしばしば後段階の手がかりに依存するのに対し、本システムはアクションの0–40%の早期段階でも優れた性能を示す。
• 結果から、物理的で人間-ロボット協働における早期予測が実現可能で効果的であることが検証された。特に、手術室のような時間的に制限のある環境において顕著である。