[논문 리뷰] Spiking Neural Networks for Early Prediction in Human Robot Collaboration

Tian Zhou, Juan Wachs|arXiv (Cornell University)|2018. 07. 29.

Action Observation and Synchronization참고 문헌 55인용 수 5

한 줄 요약

이 논문은 다중모달 신호(신체적, 신경학적, 생리적)를 사용하여 인간-로봇 협업에서 인간의 대화 교환 의도를 예측하는 스파iking 신경망 모델인 Turn-Taking Spiking Neural Network(TTSNet)을 제안한다. 100%의 작업 완료 시 F1 스코어가 0.894에 도달하며, 40% 미만의 작업이 완료된 경우 인간의 성능을 초월하여 수술 환경에서 사전에 대응하는 로봇 보조 기능을 가능하게 한다.

ABSTRACT

This paper introduces the Turn-Taking Spiking Neural Network (TTSNet), which is a cognitive model to perform early turn-taking prediction about human or agent's intentions. The TTSNet framework relies on implicit and explicit multimodal communication cues (physical, neurological and physiological) to be able to predict when the turn-taking event will occur in a robust and unambiguous fashion. To test the theories proposed, the TTSNet framework was implemented on an assistant robotic nurse, which predicts surgeon's turn-taking intentions and delivers surgical instruments accordingly. Experiments were conducted to evaluate TTSNet's performance in early turn-taking prediction. It was found to reach a F1 score of 0.683 given 10% of completed action, and a F1 score of 0.852 at 50% and 0.894 at 100% of the completed action. This performance outperformed multiple state-of-the-art algorithms, and surpassed human performance when limited partial observation is given (< 40%). Such early turn-taking prediction capability would allow robots to perform collaborative actions proactively, in order to facilitate collaboration and increase team efficiency.

연구 동기 및 목표

• 로봇이 협업 작업에서 인간의 대화 교환을 사전에 예측할 수 있는 인지 모델을 개발하는 것.
• 신체적, 신경학적, 생리적 신호를 통합하여 인간의 의도를 강건하고 명확하게 예측하는 것.
• 실시간 인간-로봇 협업, 특히 수술 보조 시나리오에서 제안된 모델의 성능을 평가하는 것.
• 부분 관찰 조건 하에서 기존 알고리즘과 인간 전문가를 초월하는 성능을 보여주는 것.

제안 방법

• TTSNet 프레임워크는 인간-로봇 상호작용의 시간적 동역학을 모델링하기 위해 스파이크 신경망을 활용한다.
• 운동, 시선, 그리고 EMG 또는 EEG와 같은 생리적 신호를 포함한 암묵적 및 명시적 다중모달 신호를 통합한다.
• 부분적인 동작 시퀀스를 기반으로 대화 교환 이벤트의 시기를 예측하도록 네트워크를 훈련시킨다.
• 모델은 시간 정보를 효율적으로 처리하고 생물학적 신경 처리를 모방하기 위해 스파iking 뉴런 아키텍처를 사용한다.
• 로봇 간호사 시나리오에서 수술 과정 중 수술사의 기구 요청을 예측하는 데로 시스템을 평가한다.
• 성능는 동작 완료 단계(10%, 50%, 100%)에서 F1 스코어로 측정된다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망이 다중모달 신호를 사용하여 인간-로봇 협업에서 인간의 대화 교환 의도를 효과적으로 예측할 수 있는가?
• RQ2 부분 관찰 조건 하에서 TTSNet 모델은 얼마나 일찍 높은 정확도로 대화 교환 이벤트를 예측할 수 있는가?
• RQ3 TTSNet 모델은 조기 예측 과제에서 최신 기술 대비 알고리즘과 인간 전문가를 초월하는가?
• RQ4 신경학적 및 생리적 신호의 통합은 예측의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• TTSNet는 동작이 10%만 완료된 상태에서 F1 스코어 0.683을 기록했다.
• 동작 완료 50% 시점에 F1 스코어가 0.852로 향상되었고, 100% 완료 시점에 0.894에 도달했다.
• 동작 시퀀스가 40% 미만으로 제공된 조건에서 TTSNet 모델은 인간 전문가의 성능을 초월했다.
• 다양한 모달 신호(신체적, 신경학적, 생리적)의 통합은 예측의 강건성과 정확도를 향상시켰다.