[논문 리뷰] Early Prediction for Physical Human Robot Collaboration in the Operating Room

Tian Zhou, Juan Wachs|arXiv (Cornell University)|2017. 09. 26.

Social Robot Interaction and HRI참고 문헌 44인용 수 5

한 줄 요약

이 논문은 음성, 제스처, 뇌파(EEG), 근전도(EMG) 신호를 사용하여 외과의사의 기구 요청을 사전에 예측하기 위한 다중모달(multimodal) 조기 전환 예측 알고리즘을 제안한다. LSTM 기반 모델은 행동의 30%만 완료된 상태에서도 F1 점수 0.80을 기록하며, 조기 예측에서 인간 기준을 초월하고, 전체 행동을 관찰할 경우 F1 점수가 0.90에 도달한다.

ABSTRACT

To enable a natural and fluent human robot collaboration flow, it is critical for a robot to comprehend their human peers' on-going actions, predict their behaviors in the near future, and plan its actions correspondingly. Specifically, the capability of making early predictions is important, so that the robot can foresee the precise timing of a turn-taking event and start motion planning and execution early enough to smooth the turn-taking transition. Such proactive behavior would reduce human's waiting time, increase efficiency and enhance naturalness in collaborative task. To that end, this paper presents the design and implementation of an early turn-taking prediction algorithm, catered for physical human robot collaboration scenarios. Specifically, a Robotic Scrub Nurse (RSN) system which can comprehend surgeon's multimodal communication cues and perform turn-taking prediction is presented. The developed algorithm was tested on a collected data set of simulated surgical procedures in a surgeon-nurse tandem. The proposed turn-taking prediction algorithm is found to be significantly superior to its algorithmic counterparts, and is more accurate than human baseline when little partial input is given (less than 30% of full action). After observing more information, the algorithm can achieve comparable performances as humans with a F1 score of 0.90.

연구 동기 및 목표

• 외과 수술실에서 수동적 인지 아닌 사전 예측 기반의 능동적 인간-로봇 협업을 가능하게 하기 위해, 외과의사의 기구 요청을 명시적으로 제시하기 전에 예측하는 것을 목적으로 한다.
• 고속의 수술 환경에서 로봇의 운동 계획 수립에 제한된 시간이 존재하는 문제를 해결하기 위한 것이다.
• 전환 전이 시기 동안 상호 침묵과 갈등을 줄임으로써 협업의 유연성을 향상시키기 위한 것이다.
• 다중모달 신호(음성, 제스처, EEG, EMG)를 활용하여 강건한 조기 예측을 수행하는 시스템을 개발하기 위한 것이다.
• 조기 예측 시나리오에서 인간 기준 및 최신 기술 대비 알고리즘 성능을 검증하기 위한 것이다.

제안 방법

• 시스템은 Myo 암밴드(EMG), Epoc 헤드셋(EEG), Kinect(제스처), 오디오(음성)를 사용하여 외과의사의 행동을 모니터링하기 위해 다중모달 신호를 수집한다.
• 순환 신경망(LSTM)이 다중모달 특징의 시간적 시퀀스를 처리하여 전환 이벤트를 예측한다.
• 알고리즘은 다중 모달에서의 증거를 융합하여 예측 신뢰도를 향상시키기 위해 덴스터-셰이퍼 이론(Dempster-Shafer theory)을 활용한다.
• 모델은 애너테이션된 기구 요청 이벤트가 포함된 시뮬레이션 수술 데이터셋을 기반으로 훈련 및 평가된다.
• 조기 예측은 행동 지속 시간의 다양한 시점(0–40%)에서 평가되며, F1 점수로 성능을 측정한다.
• 런타임 적응을 위한 동적 특징 선택이 고려되었지만, 본 연구에서는 완전히 구현되지 않았다.

실험 결과

연구 질문

• RQ1 제한된 입력으로 인해 인간 기준을 초월할 수 있는 다중모달 조기 전환 예측 시스템은 외과의사의 기구 요청을 예측하는 데 성공할 수 있는가?
• RQ2 센서 융합 기반의 LSTM 기반 모델은 행동이 완전히 완료되기 이전에 전환 이벤트를 예측하는 데 얼마나 효과적인가?
• RQ3 전체 입력 대비 부분 입력(예: 행동 지속 시간의 30%)을 사용할 경우 알고리즘의 성능 향상은 어느 정도인가?
• RQ4 기존의 최신 기술 대비 제안된 방법은 F1 점수 및 조기 예측 능력 측면에서 어떻게 비교되는가?
• RQ5 수술 과정의 맥락적 신호가 시간이 지남에 따라 예측 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 행동 지속 시간의 30%만 완료된 상태에서도 F1 점수 0.80을 기록하며, 동일 조건에서 인간 기준을 초월한다.
• 행동이 진행됨에 따라 전체 행동을 관찰할 경우 알고리즘의 F1 점수는 0.90으로 상승하여 인간 수준의 성능을 달성한다.
• 특히 부분 입력 조건에서 조기 예측 시나리오에서 알고리즘의 대체 기술 대비 뚜렷한 승리가 나타난다.
• 음성, 제스처, EEG, EMG 등의 다중모달 신호를 LSTM과 덴스터-셰이퍼 융합 기법과 함께 활용함으로써 예측의 강건성과 정확도가 향상된다.
• 기존 방법들이 일반적으로 후기 단계의 신호에 의존하는 것에 비해, 본 시스템은 행동의 0–40% 범위에서 조기 예측 성능에서 뛰어난 성능을 보였다.
• 결과적으로 조기 예측이 물리적 인간-로봇 협업 환경에서 실현 가능하고 효과적임을 입증하였으며, 특히 시간이 매우 중요한 수술실과 같은 환경에서 그러한 효과가 두드러진다.