[논문 리뷰] Tracking Motion and Proxemics using Thermal-sensor Array

Chandrayee Basu, Anthony Rowe|arXiv (Cornell University)|2015. 11. 25.

Video Surveillance and Tracking Methods참고 문헌 11인용 수 27

한 줄 요약

이 논문은 8×8 열화상 센서 어레이를 사용하여 저비용이며 사생활 보호 기능을 갖춘 사람 수 추정 및 운동 방향 추적 방법을 제안한다. 연결된 성분 분석과 국소 피크 검출, SVM 분류를 조합함으로써 사람 수 추정 정확도를 80%로 달성하고, 픽셀 시간 시리즈 간의 상관관계를 통해 10 Hz 샘플링 속도에서 1~2개 샘플 지연을 기반으로 운동 방향을 추론한다.

ABSTRACT

Indoor tracking has all-pervasive applications beyond mere surveillance, for example in education, health monitoring, marketing, energy management and so on. Image and video based tracking systems are intrusive. Thermal array sensors on the other hand can provide coarse-grained tracking while preserving privacy of the subjects. The goal of the project is to facilitate motion detection and group proxemics modeling using an 8 x 8 infrared sensor array. Each of the 8 x 8 pixels is a temperature reading in Fahrenheit. We refer to each 8 x 8 matrix as a scene. We collected approximately 902 scenes with different configurations of human groups and different walking directions. We infer direction of motion of a subject across a set of scenes as left-to-right, right-to-left, up-to-down and down-to-up using cross-correlation analysis. We used features from connected component analysis of each background subtracted scene and performed Support Vector Machine classification to estimate number of instances of human subjects in the scene.

연구 동기 및 목표

• 비디오 기반 방법의 침해적인 성향을 피하기 위해 열화상 센서 어레이를 활용한 사생활 보호 기능을 갖춘 실내 추적 시스템을 개발한다.
• 이진형 PIR 센서의 한계를 보완하여 실시간으로 실제 점유자 수와 운동 패턴을 추정할 수 있도록 한다.
• 기존의 열화상 기반 수치 추정 방법을 향상시키기 위해 국소 자극 피크와 연결된 성분 특징을 통합하여 개인 인스턴스를 더 잘 구분할 수 있도록 한다.
• 비디오 데이터에 의존하지 않고 픽셀 시간 시리즈 간의 상관관계를 활용하여 운동 방향 추적 기능을 제공한다.
• 에너지 관리, 건강 모니터링, 사회적 행동 분석 등의 애플리케이션을 지원하기 위해 굵은 흐름이지만 정보성 있는 점유 및 운동 데이터를 제공한다.

제안 방법

• 10 Hz 샘플링 속도와 华氏 온도 읽기 기능을 갖춘 8×8 적외선 센서 어레이(GridEYE)를 사용하여 902개의 인간 그룹 및 보행 운동 장면을 촬영한다.
• 특징 추출 전에 배경 제거를 적용하여 움직이는 열적 서명을 고립시킨다.
• 연결된 성분 수, 가장 큰 성분의 크기, 활성 픽셀 수, 성분 내 국소 자극 피크 수 등의 특징을 추출한다.
• 최적의 파라미터 C = 21 및 γ = 0.0078를 사용하여 10겹 교차 검증을 통해 지원 벡터 머신(SVM) 분류기를 훈련시켜 사람 수(1~4명)를 추정한다.
• 이웃 픽셀의 시간 시리즈 간 정규화된 상관관계를 사용하여 지연 행렬을 계산하고, 운동 방향(예: 상하, 좌우)을 추론한다.
• 이격된 픽셀 간 지연에 대해 2개 샘플의 임계값을 적용하여 노이즈와의 구분을 내리고 일관된 운동 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 연결된 성분 및 피크 기반 특징을 갖춘 열화상 센서 어레이가 기존 방법보다 사람 수 추정 정확도를 향상시킬 수 있는가?
• RQ2 열화상 센서 어레이에서 픽셀 시간 시리즈 간 상관관계를 통해 운동 방향을 얼마나 정확하게 추론할 수 있는가?
• RQ3 열화상 데이터에서 사람 수를 추정할 때 SVM 분류기가 비지도 군집화(예: K-means)보다 우수한 성능을 보일 수 있는가?
• RQ4 국소 자극 피크는 서로 가까이 있는 사람들을 더 잘 식별하는 데 얼마나 기여하는가?
• RQ5 단지 열강도 시간 시리즈만을 사용하여도 다양한 보행 방향에서 운동 방향을 신뢰성 있게 탐지할 수 있는가?

주요 결과

• SVM 분류기는 연결된 성분 및 피크 특징을 조합하여 사용했을 때 사람 수 추정(1~4명)에 대해 훈련 정확도 89.8%, 테스트 정확도 80%를 달성했다.
• 4차원 특징을 사용한 K-means 군집화는 3인 장면에서는 84%의 군집 정확도, 4인 장면에서는 92%, 2인 장면에서는 76%를 기록했지만, 군집을 실제 수와 일치시키는 데는 신뢰성이 떨어졌다.
• 픽셀 시간 시리즈 간 상관관계 분석을 통해 운동 방향을 성공적으로 식별했으며, 10 Hz 샘플링에서 지연이 1~2개 샘플(0.1~0.2초에 해당)이었다.
• 지연 패tern에서 유도된 보행 속도는 기준값과 일치했으며, 시야 범위는 2.5 m × 2.5 m, 센서 높이는 3 m였다.
• 연결된 성분 내 국소 자극 피크는 표준 연결된 성분 특징을 넘어서 추가적인 식별력을 제공하여 수치 추정 성능을 향상시켰다.
• 이웃 픽셀 간 지연에 대해 2개 샘플의 임계값 설정은 현재 데이터셋에서 방향성 운동과 무작위 활성화를 효과적으로 구분하는 데 충분했다.