[論文レビュー] Adversarial Rain Attack and Defensive Deraining for DNN Perception

Liming Zhai, Felix Juefei-Xu+6 more|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本論文は、DNNを用いて雨のストライプをリアルな視覚的効果を持つように生成する敵対的レイン攻撃を提案し、画像分類および物体検出における脆弱性を露呈する。さらに、敵対的レイン増強を用いた防御的デレインニングを導入し、レイン入力におけるデレインニングモデルの性能と下流のDNN精度を顕著に向上させる。

ABSTRACT

Rain often poses inevitable threats to deep neural network (DNN) based perception systems, and a comprehensive investigation of the potential risks of the rain to DNNs is of great importance. However, it is rather difficult to collect or synthesize rainy images that can represent all rain situations that would possibly occur in the real world. To this end, in this paper, we start from a new perspective and propose to combine two totally different studies, i.e., rainy image synthesis and adversarial attack. We first present an adversarial rain attack, with which we could simulate various rain situations with the guidance of deployed DNNs and reveal the potential threat factors that can be brought by rain. In particular, we design a factor-aware rain generation that synthesizes rain streaks according to the camera exposure process and models the learnable rain factors for adversarial attack. With this generator, we perform the adversarial rain attack against the image classification and object detection. To defend the DNNs from the negative rain effect, we also present a defensive deraining strategy, for which we design an adversarial rain augmentation that uses mixed adversarial rain layers to enhance deraining models for downstream DNN perception. Our large-scale evaluation on various datasets demonstrates that our synthesized rainy images with realistic appearances not only exhibit strong adversarial capability against DNNs, but also boost the deraining models for defensive purposes, building the foundation for further rain-robust perception studies.

研究の動機と目的

• DNNベースの認識システムにおける実世界のレインのリスクを調査すること、特に自動運転や監視分野における影響を明らかにすること。
• 極端または敵対的レイン条件下でDNNの脆弱性を露呈できる、多様で現実的であるが、雨の画像データの不足に対処すること。
• 敵対的レインデータを用いたデレインニングモデルの一般化と頑健性を向上させる防御戦略を開発すること。
• 高精細でDNNガイド付きの敵対的レインパターンを生成することで、合成と実世界のレイン画像のギャップを埋めること。

提案手法

• カメラ露出プロセスに基づき、学習可能なレイン要因を用いてレインストライプをモデル化する要因に配慮したレイン生成を提案する。
• 視覚的にリアルなが、意図的に目立つように設計された敵対的影響を最大化するため、GANベースのジェネレータを用いてレインレイヤーを合成する。
• 生成された敵対的レインをクリアな画像に適用し、分類および検出タスクにおけるDNNを誤導する敵対的例を生成する。
• 訓練中に敵対的レインレイヤーを混合することで、敵対的レイン増強を導入し、デレインニングモデルの一般化と頑健性を向上させる。
• 敵対的レインデータで微調整された標準的なデレインニングモデル（PreNet, EfDeRain）を用い、防御的性能を評価する。
• PSNR、SSIM、トップ1精度の指標を用いて、ベンチマークデータセット（Rain100H、Rain1400、MS COCO、DEV）でアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 強度、方向、明るさといったレインの外観要因の中で、DNN認識性能を最も著しく低下させる要因は何か？
• RQ2 DNNガイド付きのレイン合成は、視覚的にリアルでありながら、DNNを効果的に誤導する敵対的レインパターンを生成できるか？
• RQ3 敵対的レイン増強は、困難なレインストライプを除去するデレインニングモデルの頑健性をどの程度向上させられるか？
• RQ4 敵対的レインを用いた防御的デレインニングは、レイン入力における下流のDNN認識タスクの精度をどの程度向上させるか？

主な発見

• 敵対的レイン攻撃は、最先端のDNNを画像分類および物体検出タスクで誤導する視覚的にリアルなレインパターンを効果的に生成した。
• 敵対的レイン増強を用いて訓練されたデレインニングモデルは、Rain100HおよびRain1400データセットにおいて、ベースラインモデルと比較して顕著なPSNRおよびSSIMの向上を達成した。
• DEVデータセットでは、敵対的レインで訓練されたモデルから得られたデレイン画像を入力とすると、画像分類器のトップ1精度が顕著に向上し（例：最大15–20ポイントの改善）、顕著な向上が確認された。
• 視覚的比較では、敵対的レイン増強を施したデレインニングモデルが、より明確で詳細な画像を生成し、テクスチャーやエッジの保持が優れていた。
• 従来のデータ増強法（例：AugMix、フリップ/回転）は僅かな改善しか得られず、敵対的レインがハードで誤導を引き起こすレインパターンを模擬する上で特異的な有効性を示した。
• 本手法により、レインの強度と方向パターンが、DNNの頑健性を体系的にテスト・向上させるために利用可能な主要な脅威要因であることが明らかになった。