[논문 리뷰] Image Enhancement and Object Recognition for Night Vision Surveillance

Aashish Bhandari, Aayush Kafle외 3명|arXiv (Cornell University)|2020. 06. 10.

Image Enhancement Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 대비 기반 공간 도메인 기법—특히 CLAHE를 사용하여 적외선(IR) 영상을 향상시킨 후, 합성곱 신경망(CNN)을 통해 물체를 분류하는 야간 시야 감시 시스템을 제안한다. 이 방법은 영상 대비와 정보량을 향상시켜 분류 정확도를 85%로 높이며, 다른 향상 기법들보다 뛰어나며, 저조도 물체 인식에 있어서 CLAHE가 전처리 단계로 효과적임을 입증한다.

ABSTRACT

Object recognition is a critical part of any surveillance system. It is the matter of utmost concern to identify intruders and foreign objects in the area where surveillance is done. The performance of surveillance system using the traditional camera in daylight is vastly superior as compared to night. The main problem for surveillance during the night is the objects captured by traditional cameras have low contrast against the background because of the absence of ambient light in the visible spectrum. Due to that reason, the image is taken in low light condition using an Infrared Camera and the image is enhanced to obtain an image with higher contrast using different enhancing algorithms based on the spatial domain. The enhanced image is then sent to the classification process. The classification is done by using convolutional neural network followed by a fully connected layer of neurons. The accuracy of classification after implementing different enhancement algorithms is compared in this paper.

연구 동기 및 목표

• 낮은 대비와 단색 IR 영상으로 인해 저조도 및 야간 감시에서 물체 인식이 어려운 문제를 해결하기 위해.
• HE, AHE, CLAHE와 같은 다양한 영상 향상 기법이 이후 물체 분류 정확도에 미치는 영향을 평가하고 비교하기 위해.
• 제한된 하드웨어(4GB RAM, GPU 없음)를 갖춘 표준 랩탑에서 전이 학습을 활용한 CNN 기반 분류 모델을 구현하기 위해.
• MSE, PSNR, 엔트로피와 같은 지표를 사용해 영상 품질 향상 정도를 정량화하여 객관적인 영상 품질 향상 평가를 하기 위해.
• 전처리 단계로 CLAHE를 사용할 경우 야간 시야 응용 분야에서 분류 정확도가 상당히 향상됨을 입증하기 위해.

제안 방법

• 렌즈 왜곡을 보정하기 위해 펄스 카메라를 새로운 반복적 校정 방법을 사용하여 校정하고, 투영 카메라 모델과 DLT 알고리즘을 활용한다.
• 공간 도메인 영상 향상 기법 적용: 전역 히스토그램 균형화(HE), 적응형 히스토그램 균형화(AHE), 대비 제한 AHE(CLAHE).
• 카메라의 내재 및 외재적 파라미터를 사용하여 3차원 세계 좌표를 2차원 영상 점으로 매핑하는 식 $ \mu x = K[R|t]X $를 기반으로 영상을 보정한다.
• MSE, PSNR, 엔트로피를 사용해 향상 품질을 정량화하고, PSNR-VAR를 도입하여 픽셀 분산과 대비 확장 정도를 평가한다.
• TensorFlow를 사용해 전이 학습을 활용한 CNN 분류기 학습을 수행하고, 소프트맥스 활성화 함수를 갖는 완전 연결 층을 사용해 클래스 예측을 수행한다.
• 동일한 데이터셋과 모델 아키텍처를 사용해 네 가지 조건—강화 없음, HE, AHE, CLAHE—에 대한 분류 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 CLAHE를 사용한 영상 강화가 저조도 적외선 감시에서 물체 인식 정확도를 유의미하게 향상시키는가?
• RQ2 HE, AHE, CLAHE와 같은 다양한 강화 기법들이 야간 시야 영상에서 MSE, PSNR, 엔트로피 측면에서 어떻게 비교되는가?
• RQ3 전이 학습을 활용한 CNN이 제한된 자원(4GB RAM, GPU 없음) 환경에서 강화된 IR 영상에 적용되었을 때 높은 분류 정확도를 달성할 수 있는가?
• RQ4 비균일 조명 조건에서 영상 강화가 IR 영상의 시각적 품질과 통계적 품질을 얼마나 유지하거나 향상시키는가?
• RQ5 영상 강화 지표(예: PSNR, 엔트로피)와 후속 분류 성능 사이에 측정 가능한 상관관계가 존재하는가?

주요 결과

• CLAHE는 가장 낮은 MSE(264)와 가장 높은 PSNR(23.9154 dB)를 기록하여 HE 및 AHE보다 우수한 영상 품질 향상 효과를 보였다.
• CLAHE는 가장 높은 PSNR-VAR(25.0872 dB)를 기록하여 원본 밝은 조명 영상의 PSNR-VAR(20.47 dB)에 매우 가까이 도달했으며, 효과적인 대비 확장이 이루어졌음을 시사했다.
• CLAHE로 강화된 영상을 사용했을 때 분류 정확도가 강화 없음(58%)에서 85%로 상승하여 27% 향상됨을 확인했다.
• AHE와 HE는 각각 74%와 71%로 정확도 향상을 보였지만, CLAHE는 이들보다 뚜렷이 뛰어나 비균일 조명 조건에서도 강건함을 입증했다.
• 강화로 인해 엔트로피가 증가했지만, CLAHE는 정보 획득과 시각적 품질 사이의 균형을 잘 유지하여 노이즈 과도 증폭을 방지했다.
• 이 연구는 CLAHE가 야간 시야 시스템에서 CNN 기반 물체 분류 이전에 가장 효과적인 전처리 단계임을 확인했다.