[논문 리뷰] Pan-Tilt Camera and PIR Sensor Fusion Based Moving Object Detection for Mobile Security Robots

YongChol Sin, MyongSong Choe외 1명|arXiv (Cornell University)|2015. 10. 26.

Video Surveillance and Tracking Methods참고 문헌 8인용 수 3

한 줄 요약

이 논문은 패닉-틸트 카메라와 피아소전기적 적외선(PIR) 센서의 데이터 융합을 통해 모바일 보안 로봇을 위한 실시간 이동 물체 탐지 시스템을 제안한다. 연속 프레임 간 차분 분석과 PIR 감지에 기반한 카메라 활성화를 통해, 동적인 배경과 변화하는 조도 조건을 가진 복잡한 실내 환경에서 인간 탐지에 대해 효율적이고 저연산량의 탐지를 실현한다.

ABSTRACT

One of fundamental issues for security robots is to detect and track people in the surroundings. The main problems of this task are real-time constraints, a changing background, varying illumination conditions and a non-rigid shape of the person to be tracked. In this paper, we propose a solution for tracking with a pan-tilt camera and a passive infrared range (PIR) sensor to detect the moving object based on consecutive frame difference. The proposed method is excellent in real-time performance because it requires only a little memory and computation. Experiment results show that this method can detect the moving object such as human efficiently and accurately in non-stationary and complex indoor environment.

연구 동기 및 목표

• 복잡한 실내 환경에서 운영되는 모바일 보안 로봇에서 실시간으로 강건한 이동 물체 탐지 문제를 해결한다.
• 조도 변화와 배경 변화에 민감한 전통적인 시각 기반 방법의 한계를 극복한다.
• 자원 제약이 있는 이동형 플랫폼에의 구현을 가능하게 하기 위해 계산 및 메모리 부담을 감소시킨다.
• 시각적 및 열화상 운동 감지의 상호보완적 강점을 활용하여 탐지 신뢰도를 향상시킨다.
• 최소한의 처리 오버헤드로 비정적이고 혼잡한 실내 환경에서 정확하고 효율적인 인간 탐지 기능을 제공한다.

제안 방법

• 패닉-틸트 카메라에서 유입되는 영상 스트림에 대해 연속 프레임 간 차분 분석을 수행하여 프레임 간 운동 변화를 탐지한다.
• 피아소전기적 적외선(PIR) 센서를 활용해 열화상 운동을 감지하고, 운동이 감지될 경우에만 카메라를 활성화한다.
• PIR 감지 결과에 의해 카메라가 활성화되는 융합 전략을 적용하여 불필요한 처리를 줄인다.
• 임베디드 로봇 시스템에 적합한 최소한의 메모리와 계산 자원을 요구하는 경량 알고리즘을 구현한다.
• 감지된 운동 영역 쪽으로 패닉-틸트 메커니즘을 이용해 카메라를 향하게 하여 추적 효율을 향상시킨다.
• 임계값 설정과 형태학적 연산을 적용하여 운동 영역를 정밀하게 다듬고 잡음 신호를 감소시킨다.

실험 결과

연구 질문

• RQ1 PIR 센서에 의해 촉발되는 카메라 활성화 방식이 처리 부담을 줄이면서도 효과적인 운동 탐지를 유지할 수 있는가?
• RQ2 PIR와 프레임 간 차분 분석의 융합이 동적인 실내 환경에서 탐지 정확도를 어떻게 향상시키는가?
• RQ3 다양한 조도 및 배경 조건에서 제안된 방법이 실시간 성능을 얼마나 잘 유지하는가?
• RQ4 복잡하고 비정적인 실내 환경에서 인간 크기의 이동 물체 탐지에 대해 시스템이 얼마나 효과적인가?
• RQ5 단독으로 시각 기반 또는 PIR 기반 탐지와 비교해 융합 방식이 잡음 신호를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 방법은 임베디드 로봇 시스템에 적합한 낮은 메모리 및 계산 자원 요구량을 바탕으로 실시간 성능을 달성한다.
• PIR와 프레임 간 차분 분석의 융합은 동적인 배경을 가진 복잡한 실내 환경에서 탐지 정확도를 크게 향상시킨다.
• 시스템은 조도 조건의 변화가 있더라도 인간 크기의 이동 물체를 효과적으로 탐지한다.
• PIR에 기반한 카메라 활성화 방식은 지속적인 전체 프레임 분석을 피함으로써 처리 부담을 줄인다.
• 비정적 환경에서도 강건성을 확보하여 일관된 탐지 성능을 유지한다.
• 실험 결과는 시스템이 이동 중인 인간을 효율적이고 정확하게 탐지하고 국소화할 수 있음을 확인한다.