[논문 리뷰] HMD Vision-based Teleoperating UGV and UAV for Hostile Environment using Deep Learning

Abhishek Sawarkar, Vishal Sharad Chaudhari외 4명|arXiv (Cornell University)|2016. 09. 14.

UAV Applications and Optimization참고 문헌 12인용 수 6

한 줄 요약

이 논문은 적대적 환경에서 실시간 위협 탐지를 위한 딥러닝을 탑재한 무인 지상 차량(UGV)과 무인 항공기(UAV)를 사용하는 반자율 원격 운영 시스템을 제안한다. 시스템은 헤드마운트 디스플레이(HMD)를 통해 인공지능이 예측한 테러범 분류 결과와 신뢰도 점수를 포함한 증강 영상을 스트리밍하여, 첫 번째인성의 몰입감 있는 시야를 제공함으로써 정찰 및 전투 임무 중 인간의 위험을 크게 감소시킨다.

ABSTRACT

The necessity of maintaining a robust antiterrorist task force has become imperative in recent times with resurgence of rogue element in the society. A well equipped combat force warrants the safety and security of citizens and the integrity of the sovereign state. In this paper we propose a novel teleoperating robot which can play a major role in combat, rescue and reconnaissance missions by substantially reducing loss of human soldiers in such hostile environments. The proposed robotic solution consists of an unmanned ground vehicle equipped with an IP camera visual system broadcasting real-time video data to a remote cloud server. With the advancement in machine learning algorithms in the field of computer vision, we incorporate state of the art deep convolutional neural networks to identify and predict individuals with malevolent intent. The classification is performed on every frame of the video stream by the trained network in the cloud server. The predicted output of the network is overlaid on the video stream with specific colour marks and prediction percentage. Finally the data is resized into half-side by side format and streamed to the head mount display worn by the human controller which facilitates first person view of the scenario. The ground vehicle is also coupled with an unmanned aerial vehicle for aerial surveillance. The proposed scheme is an assistive system and the final decision evidently lies with the human handler.

연구 동기 및 목표

• 반지름 지형에서 정찰 및 위협 평가를 위해 반자율 UGV와 UAV를 도입하여 인간의 피해를 줄이기 위해.
• 완전 자율 시스템의 한계를 해결하기 위해 인간의 의사결정과 AI 보조 인식을 융합하기 위해.
• 헤드마운트 디스플레이(HMD)를 활용한 실시간 AI 증강 영상 스트리밍을 통해 상황 인식 능력을 향상시키기 위해.
• 딥러닝과 무선 영상 전송 및 헤드트래킹 제어를 결합한 강력하고 저지연의 원격 운영 프레임워크 개발하기 위해.
• 복잡하거나 장애물이 있는 환경에서 다중 시점 감시를 가능하게 하기 위해 이중 차량 운영(UGV 및 UAV)을 가능하게 하기 위해.

제안 방법

• UGV에 장착된 IP 카메라가 무선 링크를 통해 실시간 영상을 클라우드 서버로 스트리밍한다.
• 사전 학습된 딥 컨volution 네트워크(CNN)가 각 영상 프레임을 처리하여 무기 보유 여부에 따라 개인을 시민 또는 잠재적 테러범으로 분류한다.
• 분류 결과는 색상 경계 상자(시민은 초록색, 용의자는 빨간색)와 신뢰도 백분율을 함께 영상 스트림에 오버랩하여 표시한다.
• 증강 영상가 스테레오스코픽 VR 디스플레이에 적합한 반측면-반측면 형식(각 눈 기준 950×1000)으로 재형식화된다.
• HMD 시스템은 관성측정장치(IMU) 센서(가속도계 및 자석계)를 사용해 운영자의 머리 움직임을 추적하며, 이 정보는 XBee를 통해 실시간으로 UGV의 펜-틸트 기구 제어에 전달된다.
• 암호화된 라디오 링크를 통해 UGV에서 처리된 영상 스트림이 HMD로 전송되어 동적 카메라 제어 기능을 갖춘 몰입형 제1인칭 시각을 제공한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 CNN이 UGV에서 얻은 실시간 영상 스트림에서 무장한 사람(위협으로 간주될 만한 사람)을 정확하게 분류할 수 있는가?
• RQ2 AI 보조 위협 탐지 기능과 HMD 기반 원격 운영을 융합함으로써 상황 인식 능력과 운영 안전성이 어떻게 향상되는가?
• RQ3 복잡하거나 장애물이 있는 적대적 환경에서 이중 차량 운영(UGV 및 UAV)이 환경 인식 능력에 얼마나 기여하는가?
• RQ4 IMU를 통한 헤드트래킹 제어 방식이 기존 제어 방법에 비해 원격 운영 UGV의 사용성과 반응성에 어떤 영향을 미치는가?
• RQ5 반측면-반측면 영상 포맷팅 기법이 원격 운영자에게 몰입감 있고 저지연의 VR 경험을 제공하는 데 얼마나 효과적인가?

주요 결과

• 딥 컨volution 네트워크(CNN)는 시각적 신뢰도 점수를 기반으로 영상 스트림에 색상 경계 상자(초록색 또는 빨간색)로 표시하여 개인을 시민 또는 잠재적 테러범으로 성공적으로 분류하였다.
• 시스템은 실시간 추론과 영상 처리를 달성하여 AI 증강 영상 스트리밍을 저지연으로 HMD로 전송하여 운영자에게 즉각적인 피드백을 제공하였다.
• HMD 기반 인터페이스는 몰입감 있는 제1인칭 시야를 제공하여 운영자의 공간 인식 능력과 운영 제어 능력을 크게 향상시켰다.
• IMU를 통한 헤드트래킹 통합은 UGV 카메라의 펜-틸트 기구를 동적이고 직관적으로 제어함으로써 반응성 향상과 인지 부하 감소를 달성하였다.
• 이중 차량 운영 방식(UGV 및 UAV)을 통해 다중 시점 감시가 가능하여, UGV의 시야가 차단되었을 경우 지상 및 공중 시점 간 전환을 가능케 하였다.
• 시스템은 무장한 개인을 위협으로 분류하는 데 높은 신뢰도로 기술 가능성을 입증하였지만, 현재로서는 무장한 군인과 적대적 개인을 구분하지 못하는 한계가 있다.