[論文レビュー] Is it Raining Outside? Detection of Rainfall using General-Purpose Surveillance Cameras

Joakim Bruslund Haurum, Chris Bahnsen+1 more|VBN Forskningsportal (Aalborg Universitet)|Aug 12, 2019

Water Quality Monitoring Technologies被引用数 5

ひとこと要約

本論文では、一般用途の監視カメラを用いた3次元畳み込みニューラルネットワーク（3D CNN）ベースの雨検出システムを提案する。新たに導入されたAAU Visual Rain Dataset（VIRADA）において、先行研究の最先端手法を上回る性能を発揮した。モデルは訓練データで98%の精度と0.94のMCCを達成し、領域の注目領域（region-of-interest）が訓練分布と一致する場合には優れた性能を示したが、アスファルト背景のような異なるテクスチャでは困難を示した。

ABSTRACT

In integrated surveillance systems based on visual cameras, the mitigation of adverse weather conditions is an active research topic. Within this field, rain removal algorithms have been developed that artificially remove rain streaks from images or video. In order to deploy such rain removal algorithms in a surveillance setting, one must detect if rain is present in the scene. In this paper, we design a system for the detection of rainfall by the use of surveillance cameras. We reimplement the former state-of-the-art method for rain detection and compare it against a modern CNN-based method by utilizing 3D convolutions. The two methods are evaluated on our new AAU Visual Rain Dataset (VIRADA) that consists of 215 hours of general-purpose surveillance video from two traffic crossings. The results show that the proposed 3D CNN outperforms the previous state-of-the-art method by a large margin on all metrics, for both of the traffic crossings. Finally, it is shown that the choice of region-of-interest has a large influence on performance when trying to generalize the investigated methods. The AAU VIRADA dataset and our implementation of the two rain detection algorithms are publicly available at https://bitbucket.org/aauvap/aau-virada.

研究の動機と目的

• 外部の気象データを必要としない、一般用途の監視カメラ向けの自己完結型雨検出システムの開発。
• 雨の除去アルゴリズムが降水量の事前知識を必要とするリアルタイム監視システムにおける雨の検出の課題に対処すること。
• 実世界の雨状態を標準監視カメラから捉えた大規模かつ公開可能なデータセットの作成。
• 実世界の動画データにおいて、従来の信号ベース手法（例：Bossuら）と現代のディープラーニングアプローチ（3D CNN）を評価・比較すること。
• 注目領域の選択が、多様な屋外シーンにおけるモデルの一般化能力と性能に与える影響を調査すること。

提案手法

• ボスゥらの最先端の雨検出手法を再実装し、高次統計（HOS）とEMおよびカルマンフィルタリングを用いたパrameter推定を適用した。
• 動画ベースの雨検出に適した3次元畳み込みニューラルネットワーク（C3D）アーキテクチャを設計し、16フレームのクリップを8フレームのストライドで処理する。
• 空間的コンテキストの影響を評価するために、完全畳み込みネットワーク（FCN）およびセンタークロップ推論戦略を適用した。
• AAU VIRADAデータセットを用い、レーザー分散計とチッピングバケツ雨量計からの地面真値を含む、合計215時間の監視動画を収録した。
• 3D CNNをCrossing1データのサブセットで学習し、訓練／検証分割および異なる背景を持つCrossing2からの未学習データで評価した。
• 訓練および評価のため、1分ごとのレーザー分散計測定値を1フレームごとのラベルに変換した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの3D CNNは、一般用途の監視カメラからの雨検出において、従来の信号ベース手法を上回ることができるか？
• RQ2 注目領域の選択（例：アスファルト対レンガ壁）が、雨検出モデルの一般化能力に与える影響はいかほどか？
• RQ3 訓練データとは異なるテクスチャのシーンに適用した場合、3D CNNの性能はどの程度低下するか？
• RQ4 HOSパrameterのEMおよびカルマンスムージングが、ボスゥベースの雨検出アルゴリズムのロバストネスに与える影響は？
• RQ5 外部の気象局を必要としない、カメラのみに依存する自己完結型雨検出システムは、信頼性のある性能を達成できるか？

主な発見

• 3D CNNベースの手法は、両方の交通交差点で先行研究の最先端手法（ボスゥ法）を大きく上回り、Crossing1の訓練セットで98%の精度と0.94のMCCを達成した。
• Crossing1の検証セットでは、3D CNNは87%の精度と0.58のMCCを達成し、強力な性能を示したが、誤検出（偽陰性）のため改善の余地があった。
• Crossing2のアスファルト背景でテストしたところ、フルフレームの3D CNNは雨が検出されず、センタークロップバージョンでは-0.08のMCCを示し、一般化能力が著しく低いことがわかった。
• Crossing2のレンガの家屋背景では、3D CNNはすべての指標で優れた性能を示し、センター部分のみを使用した場合にMCCが0.01上昇した。これは、動的なシーン要因からの干渉が減少したことを示唆している。
• ボスゥアルゴリズムは全体的に性能が低く、Crossing1では精度が50%近く、MCCが0に近い水準であり、この文脈ではランダムな推測と同様に機能していることが示された。
• 3D CNNとボスゥ法の性能差は、テクスチャが類似した状況で最も顕著であり、注目領域が訓練分布と一致する場合に3D CNNが優れた一般化能力を示すことがわかった。