[논문 리뷰] A Novel Indoor Positioning System for unprepared firefighting scenarios

Vamsi Karthik Vadlamani, Manish Bhattarai외 2명|arXiv (Cornell University)|2020. 08. 04.

Indoor and Outdoor Localization Technologies참고 문헌 12인용 수 4

한 줄 요약

이 논문은 GPS 및 RF 기반 시스템이 실패하는 비준비적이고 동적인 소방 상황을 위한 새로운 실내 위치 측정 시스템(IPS)을 제안한다. 광학 흐름 기반 비디오 콈포를 이용한 자세 추정과 관성측정장치(IMU) 기반 활동 인식을 통해 드리프트를 완화한다. 라이다, IMU, 열화상 영상 데이터를 지지벡터 회귀와 임계값 처리를 통해 융합함으로써, 사전 인프라 없이도 알려지지 않은 동적 환경에서 약 2미터의 정확도를 달성하며, 현장 대응자에게 실시간 상황 인식을 가능하게 한다.

ABSTRACT

Situational awareness and Indoor location tracking for firefighters is one of the tasks with paramount importance in search and rescue operations. For Indoor Positioning systems (IPS), GPS is not the best possible solution. There are few other techniques like dead reckoning, Wifi and bluetooth based triangulation, Structure from Motion (SFM) based scene reconstruction for Indoor positioning system. However due to high temperatures, the rapidly changing environment of fires, and low parallax in the thermal images, these techniques are not suitable for relaying the necessary information in a fire fighting environment needed to increase situational awareness in real time. In fire fighting environments, thermal imaging cameras are used due to smoke and low visibility hence obtaining relative orientation from the vanishing point estimation is very difficult. The following technique that is the content of this research implements a novel optical flow based video compass for orientation estimation and fused IMU data based activity recognition for IPS. This technique helps first responders to go into unprepared, unknown environments and still maintain situational awareness like the orientation and, position of the victim fire fighters.

연구 동기 및 목표

• GPS 및 RF 기반 시스템이 실패하는 비준비적이고 동적인 소방 환경에서 신뢰할 수 있는 실내 위치 측정의 부족을 해결하기 위해.
• 고온도, 환경 불안정성, 열화상 영상에서의 파라렐랙스 부족으로 인해 기존 IPS 기술(예: 블루투스 비콘, WiFi 핑거프rint링, SFM)의 한계를 극복하기 위해.
• 단지 열화상 영상, IMU, 라이다 데이터만을 사용하여 소방대원을 위한 실시간, 드리프트 저항성 위치 및 자세 추적을 가능하게 하기 위해.
• 비콘 또는 액세스 포인트 배치와 같은 환경에 대한 사전 지식 없이도 기능하는 시스템을 개발하기 위해.
• 무거운-smoke와 극한의 고온 조건에서도 정확한 자세 및 위치 추정을 통해 실시간 상황 인식을 향상시키기 위해.

제안 방법

• 저해상도 및 저대비도의 열화상 영상에서 경계 검출에 실패하는 상황에서 작동하지 않는 퇴적점 추정 방식을 피하기 위해, 열화상 영상(320x240 해상도, 30fps)을 이용한 광학 흐름 기반 비디오 콈포를 통해 자세를 추정한다.
• 관성측정장치(IMU) 기반 활동 인식을 적용하여 회전을 탐지하고 위치 추정을 재설정함으로써 관성 통합에서 발생하는 드리프트를 감소시킨다.
• 가속도계 및 라이다 데이터를 최소 제곱법 추정과 초기 조건 추정을 통해 융합하여, 회전 중 누적 오차를 보정한다.
• 희소하고 노이즈가 많은 샘플에서 일반화 성능을 향상시키기 위해, 지지벡터 회귀(SVR)에 Vapnik의 ε 및 Huber 강력 손실을 조합한 하이브리드 비용 함수를 적용하여 라이다 거리 데이터를 모델링한다.
• SVR로 추정한 위치에 미분을 적용하여 속도를 계산하고, 중앙값 필터링을 이용한 임계값 처리를 통해 물리적 타당성을 강제하고 이상치를 제거한다.
• 회전을 탐지하고 위치 추정 알고리즘의 재초기화를 유도하기 위해 자세 데이터에 시그모이드 컨볼루션과 피크 탐지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 소방 상황에서 흔히 나타나는 저파라렐랙스, 저대비도의 열화상 영상에서 광학 흐름 기반 비디오 콈포가 신뢰할 수 있는 자세 추정을 제공할 수 있는가?
• RQ2 IMU 기반 활동 인식을 통해 회전을 탐지하고 위치 추정을 재설정함으로써 비준비적 실내 환경에서 관성 드리프트를 어떻게 완화할 수 있는가?
• RQ3 희소하고 노이즈가 많은 라이다 및 IMU 데이터 융합에서, 강력한 비용 함수를 갖춘 SVR이 고온도, 동적 환경에서 위치 추정 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 사전 환경 지도 없이도 속도 추정치에 대한 임계값 처리 및 중앙값 필터링이 물리적 일관성을 강제하고 위치 추적의 잡음 요소를 줄일 수 있는가?
• RQ5 광학 흐름, IMU, 라이다 데이터 융합이 비준비적이고 알려지지 않은 실내 환경에서 기존 IPS 기법에 비해 정확도와 내구성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 IPS는 건물 레이아웃이나 비콘 배치에 대한 사전 지식 없이도 비준비적 실내 환경에서 약 ±2미터의 경로 재구성 정확도를 달성한다.
• 자세 데이터와 시그모이드 기반 피크 탐지 기법을 통해 시스템은 회전을 성공적으로 탐지하고 위치 추정의 재초기화를 가능하게 하여 누적 드리프트를 크게 감소시킨다.
• 강력한 비용 함수를 갖춘 지지벡터 회귀(SVR)는 훈련 샘플 수가 제한된 상황에서도 라이다 거리 데이터를 효과적으로 모델링하며, 뛰어난 일반화 성능과 이상치에 대한 저항성을 보였다.
• 속도 추정치에 대한 임계값 처리 및 중앙값 필터링이 물리적으로 비현실적인 급격한 스파이크를 제거하여 추정 경로의 안정성과 현실성 향상에 기여한다.
• 경계 검출이 실패하는 저해상도 및 동적 범위의 열화상 영상에서, 광학 흐름 기반 비디오 콈포가 퇴적점 추정 방식보다 우수한 성능을 보였다.
• GPS 및 RF 기반 시스템이 실패하는 실제 소방 상황(무거운 연기, 극한의 고온)에서도 시스템은 뛰어난 내구성을 보였다.