[論文レビュー] Let There be Light: Improved Traffic Surveillance via Detail Preserving Night-to-Day Transfer

Lan Fu, Hongkai Yu+4 more|arXiv (Cornell University)|May 11, 2021

Video Surveillance and Tracking Methods参考文献 52被引用数 4

ひとこと要約

本論文は、事前学習済みの昼間用オブジェクト検出器を夜間交通監視に直接利用できるようにする、詳細を保持する夜間から昼間への画像変換フレームワークを提案する。合成ペairedデータのスタイルミキシングと、高精細な変換を実現するカーネル予測ネットワーク（KPN）を組み合わせることで、検出器の微調整なしに、夜間車両検出ベンチマークでSOTAのmAP 87.80%を達成した。

ABSTRACT

In recent years, image and video surveillance have made considerable progresses to the Intelligent Transportation Systems (ITS) with the help of deep Convolutional Neural Networks (CNNs). As one of the state-of-the-art perception approaches, detecting the interested objects in each frame of video surveillance is widely desired by ITS. Currently, object detection shows remarkable efficiency and reliability in standard scenarios such as daytime scenes with favorable illumination conditions. However, in face of adverse conditions such as the nighttime, object detection loses its accuracy significantly. One of the main causes of the problem is the lack of sufficient annotated detection datasets of nighttime scenes. In this paper, we propose a framework to alleviate the accuracy decline when object detection is taken to adverse conditions by using image translation method. We propose to utilize style translation based StyleMix method to acquire pairs of day time image and nighttime image as training data for following nighttime to daytime image translation. To alleviate the detail corruptions caused by Generative Adversarial Networks (GANs), we propose to utilize Kernel Prediction Network (KPN) based method to refine the nighttime to daytime image translation. The KPN network is trained with object detection task together to adapt the trained daytime model to nighttime vehicle detection directly. Experiments on vehicle detection verified the accuracy and effectiveness of the proposed approach.

研究の動機と目的

• 夜間データにアノテーションが不足するため、夜間オブジェクト検出の性能が低いという課題に対処すること。
• GANベースの画像変換の限界、たとえば詳細の損なわれやモード崩壊を克服すること。
• 微調整なしに、事前学習済みの昼間用検出モデルを夜間シナリオに直接適応可能にすること。
• 画像変換中に構造的詳細を保持することで、下流の検出精度を向上させること。
• 悪質な照明条件下でも、既存の昼間モデルを効率的に再利用できる手法を開発すること。

提案手法

• 実際のペアデータを必要としない、スタイル変換ベースのStyleMixを用いて、合成されたペアドの昼間・夜間画像を生成する。
• 隣接する空間的コンテキストをピクセルごとに統合することで、KPN（カーネル予測ネットワーク）を活用し、夜間から昼間への変換を精緻化する。
• KPNとオブジェクト検出タスクを同時に学習させることで、変換画像が視覚的に現実的かつ検出に適したものであることを保証する。
• 変換の前処理として、ゼロリファレンスおよびコントラスト強調を適用し、入力の夜間画像の品質を向上させる。
• ドメイン一般化を向上させるために、StyleMixにおけるスタイルリファレンス選択に、多様な夜間スタイル画像プール（D&N-Car、BDD、WCT2を含む）を活用する。
• KPNベースの変換モデルを用いて、夜間入力から昼間スタイルの画像を再構築し、その後、事前学習済みの昼間用検出器を直接適用する。

実験結果

リサーチクエスチョン

• RQ1 スタイルミキシングを用いた非ペア画像変換は、訓練に適した現実的で多様な合成夜間画像を生成できるか？
• RQ2 標準のGANと比較して、カーネル予測ネットワーク（KPN）は、夜間から昼間への画像変換中に構造的詳細を効果的に保持できるか？
• RQ3 KPNを検出タスクと共同で学習させることで、夜間データにおける検出性能が向上するか？
• RQ4 StyleMixにおけるスタイルリファレンスの多様性は、最終的な検出システムのロバスト性と精度にどのように影響するか？
• RQ5 提案手法は、事前学習済みの昼間用検出器の微調整なしに、夜間データで高い検出精度を達成できるか？

主な発見

• 提案手法は、4つの夜間テストサブセットで平均mAP 87.80%を達成し、ベースライン（62.51%）および他のアブレーションバリアントを顕著に上回った。
• D&N-Carデータセットの5つの夜間スタイルリファレンスを用いたStyleMixの追加により、1つのリファレンスのみを使用した場合と比較してmAPが5.2%向上した。
• StyleMixとコントラスト強調の前処理を組み合わせた結果、Night1で80.20%のmAPを達成し、ベースライン比で17.69%の向上を示した。
• KPNベースの精緻化により、テクスチャの損なわれが軽減され、微細な構造的詳細が保持され、標準のGANベース手法よりも優れた検出性能が得られた。
• 本手法により、翻訳済みの夜間画像に対して、事前学習済みの昼間用検出器を直接推論可能にし、モデルの微調整の必要がなくなった。
• アブレーションスタディにより、各構成要素（StyleMix、KPN、前処理）が最終的な検出精度向上に正の寄与をしていることが確認された。