[논문 리뷰] Expressway visibility estimation based on image entropy and piecewise stationary time series analysis

Xiaogang Cheng, Guoqing Liu외 3명|arXiv (Cornell University)|2018. 04. 08.

Image Enhancement Techniques참고 문헌 21인용 수 6

한 줄 요약

이 논문은 중국의 dense 안개 발생 지역인 통기 고속도로에서 두백만 건의 영상 데이터를 바탕으로, 가우시안 영상 엔트로피와 조각별 정staionary 시간 시리즈 분석을 활용하여 고속도로 대기 시광을 추정하는 데이터 기반 신규 방법인 SPEV를 제안한다. 영역 관심 분석과 상대 엔트로피 비율을 활용하여 조명 및 환경 변화의 영향을 최소화함으로써, 모델은 실제 안개/ hazes 영상에서 99.14%의 예측 결과에 대해 10% 이내의 상대 오차를 기록한다.

ABSTRACT

Vision-based methods for visibility estimation can play a critical role in reducing traffic accidents caused by fog and haze. To overcome the disadvantages of current visibility estimation methods, we present a novel data-driven approach based on Gaussian image entropy and piecewise stationary time series analysis (SPEV). This is the first time that Gaussian image entropy is used for estimating atmospheric visibility. To lessen the impact of landscape and sunshine illuminance on visibility estimation, we used region of interest (ROI) analysis and took into account relative ratios of image entropy, to improve estimation accuracy. We assume fog and haze cause blurred images and that fog and haze can be considered as a piecewise stationary signal. We used piecewise stationary time series analysis to construct the piecewise causal relationship between image entropy and visibility. To obtain a real-world visibility measure during fog and haze, a subjective assessment was established through a study with 36 subjects who performed visibility observations. Finally, a total of two million videos were used for training the SPEV model and validate its effectiveness. The videos were collected from the constantly foggy and hazy Tongqi expressway in Jiangsu, China. The contrast model of visibility estimation was used for algorithm performance comparison, and the validation results of the SPEV model were encouraging as 99.14% of the relative errors were less than 10%.

연구 동기 및 목표

• 안개 및 안개 조건에서 기존의 시각 기반 시광 추정 방법의 한계를 해결하기 위해.
• 조명 변화 및 환경 콘텐츠의 영향이 시광 추정 정확도에 미치는 영향을 줄이기 위해.
• 영상 엔트로피와 대기 시광 간의 인과 관계를 모델링하는 데이터 기반 접근법을 개발하기 위해.
• 지속적으로 안개가 발생하는 고속도로에서 수집한 실제 영상 데이터를 활용하여 모델을 검증하기 위해.
• 36명의 참가자가 참여한 대규모 주관적 평가를 통해 신뢰할 수 있는 객관적 시광 측정 기준을 수립하기 위해.

제안 방법

• 안개 및 안개로 인해 선명도가 떨어지므로 엔트로피가 증가한다고 가정하여, 영상 흐림 정도를 측정하기 위해 가우시안 영상 엔트로피를 계산한다.
• 관련 도로 구역에 집중하고 배경 간섭을 줄이기 위해 영역 관심(ROI) 분석을 적용한다.
• ROI와 전체 영상 간의 상대 엔트로피 비율을 사용하여 조명 및 환경 콘텐츠 변화를 정규화한다.
• 안개/안개가 발생할 경우 고정된 신호 세그먼트를 형성하므로, 시광을 조각별 정staionary 시간 시리즈로 모델링한다.
• 조각별 정staionary 시간 시리즈 분석을 적용하여 영상 엔트로피와 시광 간의 인과적이고 시간에 따라 변화하는 관계를 수립한다.
• 중국 Jiangsu 성의 통기 고속도로에서 수집한 두백만 건의 영상 클립을 기반으로 SPEV 모델을 훈련 및 검증한다.

실험 결과

연구 질문

• RQ1 가우시안 영상 엔트로피는 안개 및 안개 조건에서 대기 시광의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 환경 콘텐츠 및 조명 변화를 효과적으로 정규화하여 시광 추정 정확도를 향상시킬 수 있는가?
• RQ3 시광-엔트로피 관계를 조각별 정staionary 시간 시리즈로 모델링하면 예측의 강인성이 향상되는가?
• RQ4 지속적으로 안개가 발생하는 환경에서 실생활 영상 데이터를 활용한 데이터 기반 접근법으로 어떤 정도의 추정 정확도를 달성할 수 있는가?
• RQ5 기존의 대trast 기반 시광 모델과 비교할 때, 제안된 방법은 오차 분포 측면에서 어떻게 다른가?

주요 결과

• SPEV 모델은 테스트 데이터셋에서 전체 시광 예측의 99.14%에 대해 10% 이내의 상대 오차를 기록했다.
• 영역 관심 분석과 상대 엔트로피 비율의 사용이 조명 및 환경 변화에 대한 강인성을 크게 향상시켰다.
• 조각별 정staionary 시간 시리즈 모델은 안개 조건에서 영상 엔트로피와 시광 간의 인과적 동역학을 효과적으로 포착했다.
• 36명의 참가자가 참여한 주관적 시광 평가를 통해 모델 검증을 위한 신뢰할 수 있는 기준값을 확보할 수 있었다.
• 통기 고속도로에서의 실생활 영상 데이터에 대해 모델는 뛰어난 일반화 성능을 보였다. 이는 지속적인 안개 및 안개 발생으로 유명한 지역이다.
• 대trast 기반 모델과 비교할 때, SPEV는 다양한 시광 조건에서 오차 분포 및 일관성 측면에서 뛰어난 성능을 보였다.