[논문 리뷰] Visual Infrared Video Fusion for Night Vision using Background Estimation

Anjali Malviya, Sunil Bhirud|arXiv (Cornell University)|2010. 04. 26.

Advanced Image Fusion Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 배경 추정, 노이즈 제거를 통한 적외선(IR) 영상에서의 보행자 검출, 그리고 RGB 영상과의 융합을 통해 야간 시야를 향상시키기 위해 가시광선 및 적외선 영상 스트림을 융합하는 프레임워크를 제안한다. 이 방법은 저조도 조건에서 인간의 실루엣을 효과적으로 향상시켜 감시 응용 분야에서 뚜렷한 향상을 보여준다.

ABSTRACT

Video fusion is a process that combines visual data from different sensors to obtain a single composite video preserving the information of the sources. The availability of a system, enhancing human ability to perceive the observed scenario, is crucial to improve the performance of a surveillance system. The infrared (IR) camera captures thermal image of object in night-time environment, when only limited visual information can be captured by RGB camera. The fusion of data recorded by an IR sensor and a visible RGB camera can produce information otherwise not obtainable by viewing the sensor outputs separately. In this paper we consider the problem of fusing two video streams acquired by an RGB camera and an IR sensor. The pedestrians, distinctly captured by IR video, are separated and fused with the RGB video. The algorithms implemented involve estimation of the background, followed by detection of object from the IR Video, after necessary denoising. Finally a suitable fusion algorithm is employed to combine the extracted pedestrians with the visual output. The obtained results clearly demonstrate the effectiveness of the proposed video fusion scheme, for night vision.

연구 동기 및 목표

• 가시광선 및 적외선 영상 스트림을 융합하여 야간 시야 감시를 향상시키기 위해.
• RGB 카메라가 실패하는 야간 장면에서 낮은 시야 확보 문제를 해결하기 위해.
• 배경 추정 및 노이즈 제거를 통해 적외선 영상에서 보행자를 검출하고 추출하기 위해.
• 양측 센서에서 유의미한 정보를 유지하는 보다 명확한 복합 출력을 위한 융합 전략 개발하기 위해.

제안 방법

• 이동 물체를 구분하기 위해 통계 모델링을 사용하여 적외선(IR) 영상 스트림에서 배경을 추정한다.
• 객체 검출 정확도를 향상시키기 위해 적외선 영상에 노이즈 제거 기법을 적용한다.
• 추정된 배경에서 전경 물체를 분할하여 적외선 영상에서 보행자를 검출한다.
• 검출된 보행자를 가시광선(RGB) 영상 스트림과 융합하는 융합 알고리즘을 사용하여 저조도 조건에서의 가시성을 향상시킨다.
• 두 영상 스트림 간 해당 영역의 정확한 융합을 보장하기 위해 공간적 및 시간적 정렬을 실시한다.
• 인간 검출에 대해 적외선 데이터를 우선시하고, 질감 및 맥락 정보에 대해 가시광선 데이터를 우선시하는 가중치 기반 융합 접근법을 활용한다.

실험 결과

연구 질문

• RQ1 배경 추정은 저조도 조건에서 적외선 영상에서의 보행자 검출에 어떻게 기여하는가?
• RQ2 객체 검출 정확도를 향상시키기 위해 적외선 영상 노이즈 제거에 가장 적합한 방법은 무엇인가?
• RQ3 가시광선 및 적외선 영상 스트림을 효과적으로 융합하여 상보적인 정보를 유지할 수 있는가?
• RQ4 야간 감시 시나리오에서 인간의 실루엣을 최대한 향상시키는 융합 전략은 무엇인가?
• RQ5 실제 야간 시야 응용 분야에서 기존의 단일 센서 또는 단순 융합 기법과 비교해 본다면, 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 배경 추정 방법은 노이즈가 많고 대trast가 낮은 환경에서도 적외선 영상에서 이동 중인 보행자를 성공적으로 분리한다.
• 노이즈 제거 기법은 적외선 스트림에서 보행자 검출 정확도를 크게 향상시켜 잡음 신호의 오류 감소에 기여한다.
• 융합 알고리즘이 적외선 검출 결과와 가시광선 영상 스트림을 효과적으로 융합하여 더 명확한 복합 출력 결과를 도출했으며, 인간 실루엣의 가시성이 향상되었다.
• 실시간 야간 시야 시나리오에서 뛰어난 성능을 보였으며, 단일 센서 및 기본 융합 기법보다 뛰어난 성능을 발휘했다.
• 결과적으로 적외선 검출 결과와 가시광선 영상 융합은 맥락적 세부 정보를 유지하면서도 사람의 열적 신호를 두드러지게 강조함을 보여주었다.
• 특히 야간 조건에서 인간을 탐지하는 데 있어 감시 효과성이 뚜렷하게 향상되었다.