[논문 리뷰] Is it Raining Outside? Detection of Rainfall using General-Purpose Surveillance Cameras

Joakim Bruslund Haurum, Chris Bahnsen외 1명|VBN Forskningsportal (Aalborg Universitet)|2019. 08. 12.

Water Quality Monitoring Technologies인용 수 5

한 줄 요약

이 논문은 일반 목적의 감시 카메라를 사용하여 3D CNN 기반의 빗방울 감지 시스템을 제안하며, 새로 도입된 AAU Visual Rain Dataset (VIRADA)에서 이전 최고 성능 기법을 뛰어넘었다. 모델은 훈련 데이터에서 98%의 정확도와 0.94의 MCC를 기록하여 훈련 분포와 일치하는 관심 영역에서는 뛰어난 성능를 보였지만, bitumen 배경과 같은 비슷하지 않은 질감에서는 어려움을 겪었다.

ABSTRACT

In integrated surveillance systems based on visual cameras, the mitigation of adverse weather conditions is an active research topic. Within this field, rain removal algorithms have been developed that artificially remove rain streaks from images or video. In order to deploy such rain removal algorithms in a surveillance setting, one must detect if rain is present in the scene. In this paper, we design a system for the detection of rainfall by the use of surveillance cameras. We reimplement the former state-of-the-art method for rain detection and compare it against a modern CNN-based method by utilizing 3D convolutions. The two methods are evaluated on our new AAU Visual Rain Dataset (VIRADA) that consists of 215 hours of general-purpose surveillance video from two traffic crossings. The results show that the proposed 3D CNN outperforms the previous state-of-the-art method by a large margin on all metrics, for both of the traffic crossings. Finally, it is shown that the choice of region-of-interest has a large influence on performance when trying to generalize the investigated methods. The AAU VIRADA dataset and our implementation of the two rain detection algorithms are publicly available at https://bitbucket.org/aauvap/aau-virada.

연구 동기 및 목표

• 외부 기상 데이터 없이 일반 목적의 감시 카메라를 위한 자율적인 빗방울 감지 시스템을 개발하기 위해.
• 비가 내리는 것을 사전에 알 수 없는 실시간 감시 시스템에서 비 제거 알고리즘의 요구 조건을 해결하기 위해.
• 표준 감시 카메라에서 촬영한 실제 빗방울 조건을 캡처한 대규모 공개 데이터셋을 구축하기 위해.
• 실제 영상 데이터에서 전통적인 신호 기반 방법(예: Bossu 등)과 현대적인 딥러닝 접근법(3D CNN)을 평가하고 비교하기 위해.
• 관심 영역 선택이 다양한 실외 환경에서 모델의 일반화 능력과 성능에 미치는 영향을 조사하기 위해.

제안 방법

• Bossu 등이 제안한 최고 성능 기법을 고차원 통계(HOS)와 함께 사용하고, 매개변수 추정에 대해 EM 및 칼만 필터링을 적용하여 재현한다.
• 영상 기반 빗방울 감지에 적합한 3D 합성곱 신경망(C3D) 아키텍처를 설계하며, 16프레임 클립을 8프레임 간격으로 처리한다.
• 공역 합성곱 신경망(FCN)과 중심 영역 추론 전략을 적용하여 공간적 맥락이 감지 성능에 미치는 영향을 평가한다.
• 215시간의 감시 영상과 레이저 비수계량기 및 기울기 빗방울계량기의 정답 레이블을 포함한 AAU VIRADA 데이터셋을 사용한다.
• 3D CNN을 Crossing1 데이터의 일부에 대해 훈련하고, 훈련/검증 분할 및 다른 배경을 가진 Crossing2의 새로운 데이터에 대해 평가한다.
• 훈련 및 평가를 위해 분당 레이저 비수계량기 측정값을 프레임 단위 레이블로 변환한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 3D CNN이 일반 목적의 감시 카메라에서 빗방울을 감지하는 데 있어 기존의 신호 기반 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 관심 영역 선택(예: 아스팔트 vs. 벽돌 벽)이 빗방울 감지 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 훈련 데이터와 다른 질감을 가진 영상에 적용했을 때 3D CNN의 성능이 얼마나 떨어지는가?
• RQ4 HOS 매개변수에 대한 EM 및 칼만 스무딩이 Bossu 기반 빗방울 감지 알고리즘의 안정성에 어떤 영향을 미치는가?
• RQ5 외부 기상 관측소 없이도 자율적이고 카메라 전용 빗방울 감지 시스템이 신뢰할 만한 성능을 달성할 수 있는가?

주요 결과

• 3D CNN 기반 방법은 Crossing1의 두 교차로에서 이전 최고 성능 기법인 Bossu 알고리즘을 크게 앞서며, Crossing1 훈련 세트에서 98%의 정확도와 0.94의 MCC를 기록했다.
• Crossing1 검증 세트에서는 87%의 정확도와 0.58의 MCC를 기록하여 강력한 성능를 보였지만, 잠재적인 오소거성의 영향으로 향상 여지가 있음을 시사했다.
• Crossing2의 아스팔트 배경에서 풀프레임 3D CNN은 빗방울이 전혀 감지되지 않았고, 중심 영역 추론 버전은 -0.08의 음수 MCC를 기록하여 일반화 능력이 떨어짐을 나타냈다.
• Crossing2의 벽돌 집 배경에서는 3D CNN이 모든 지표에서 뛰어난 성능를 보였으며, 중심 패치만 사용할 경우 MCC가 0.01 증가하여 동적인 시cene 요소의 간섭이 감소함을 시사했다.
• Bossu 알고리즘은 전반적으로 성능이 열악했으며, Crossing1에서 정확도는 약 50%이고 MCC는 약 0이었는데, 이는 이 맥락에서 랜덤 추측 수준에 머무름을 의미한다.
• 3D CNN과 Bossu 방법 간의 성능 격차는 비슷한 질감에서 가장 두드러지며, 관심 영역이 훈련 데이터와 일치할 경우 3D CNN의 일반화 능력이 뛰어나다는 것을 입증한다.