[論文レビュー] Towards Robust Rain Removal Against Adversarial Attacks: A Comprehensive Benchmark Analysis and Beyond

Yi Yu, Wenhan Yang+2 more|arXiv (Cornell University)|Mar 31, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、深層学習に基づく雨除去手法における敵対的ロバストネスの包括的分析を初めて提示し、摂動下での脆弱性を特定するとともに、有効なモジュールを統合することでよりロバストな雨除去モデルを提案する。この手法は、物体に敏感な攻撃、雨領域に限定された攻撃、目に見えない攻撃といった標的攻撃に対して優れた耐性を示し、視覚的品質を維持するとともに、下流タスクのパフォーマンスを向上させる。

ABSTRACT

Rain removal aims to remove rain streaks from images/videos and reduce the disruptive effects caused by rain. It not only enhances image/video visibility but also allows many computer vision algorithms to function properly. This paper makes the first attempt to conduct a comprehensive study on the robustness of deep learning-based rain removal methods against adversarial attacks. Our study shows that, when the image/video is highly degraded, rain removal methods are more vulnerable to the adversarial attacks as small distortions/perturbations become less noticeable or detectable. In this paper, we first present a comprehensive empirical evaluation of various methods at different levels of attacks and with various losses/targets to generate the perturbations from the perspective of human perception and machine analysis tasks. A systematic evaluation of key modules in existing methods is performed in terms of their robustness against adversarial attacks. From the insights of our analysis, we construct a more robust deraining method by integrating these effective modules. Finally, we examine various types of adversarial attacks that are specific to deraining problems and their effects on both human and machine vision tasks, including 1) rain region attacks, adding perturbations only in the rain regions to make the perturbations in the attacked rain images less visible; 2) object-sensitive attacks, adding perturbations only in regions near the given objects. Code is available at https://github.com/yuyi-sd/Robust_Rain_Removal.

研究の動機と目的

• 高画質劣化下における敵対的攻撃に対する深層学習ベースの雨除去モデルの脆弱性を調査すること。
• 雨除去モデルにおける主なアーキテクチャ的および損失関数的要素（例：アテンション、再帰、敵対的損失）のロバストネスを評価すること。
• 敵対的条件下で有効であると判明したモジュールを統合することで、よりロバストな雨除去モデルを開発すること。
• 人間の知覚と機械視覚の両観点から、物体に敏感な攻撃や雨領域に特化した攻撃を含む、雨除去固有の新たな攻撃シナリオを分析すること。
• 敵対的摂動がセマンティックセグメンテーションなどの下流タスクに与える影響を評価し、実世界応用における信頼性を確保すること。

提案手法

• さまざまな敵対的攻撃と異なる摂動バウンド（例：ε = 4/255）を用いて、雨除去モデルの体系的評価を実施する。
• 物体に敏感な攻撃を採用し、摂動をソースオブジェクト領域に限定することで、セグメンテーションモデルを誤導する。
• 雨領域に限定した部分的攻撃を導入し、高雨密度領域にのみ摂動を制限するためのバイナリマスクを用いる。
• 視覚的品質を保ちながら機械性能を劣化させるために、明確な損失の偏差を最大化し、MSE損失を最小化するように設計された目に見えない攻撃を設計する。
• 入力に近い攻撃を適用し、入力と出力の差を最小限に抑えることで、雨除去を完全に阻止することを目的とする。
• アブレーションスタディを通じて同定された高性能なモジュール（アテンション、再帰、敵対的損失など）を統合することで、ロバストな雨除去モデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 入力画像が強い雨で著しく劣化している状況下で、深層学習ベースの雨除去モデルは敵対的攻撃に対してどのように動作するか？
• RQ2 アテンション、再帰、補助情報などのアーキテクチャ的要素や、敵対的損失などの損失関数のうち、敵対的摂動に対するロバストネスに最も寄与するのはどれか？
• RQ3 特定のオブジェクトを標的にする物体に敏感な攻撃は、セマンティックセグメンテーションなどの下流タスクにおける雨除去モデルのパフォーマンスにどのように影響するか？
• RQ4 雨領域に限定された摂動は、どれほど検出されにくく保たれつつも、モデルパフォーマンスを著しく劣化させることができるか？
• RQ5 視覚的に見えにくくても機械視覚タスクに著しく悪影響を与える攻撃を設計可能か？また、提案手法はこのような攻撃に対してどれほど耐性を示すか？

主な発見

• 深層学習ベースの雨除去モデルは、強い雨による入力画像の著しい劣化下で、敵対的攻撃に対して著しく脆弱である。
• 提案されたロバストな雨除去モデルは、MPRNetよりも物体に敏感な攻撃に対して優れた性能を示し、歩行者や車両などのターゲットオブジェクトのセマンティックセグメンテーションを正しく保持している。
• 雨領域攻撃下でも、提案モデルはMPRNetに比べて出力品質が高く、セマンティックの一貫性も優れている。
• 視覚的品質を維持しながら機械視覚性能を劣化させる目に見えない攻撃に対しても、提案モデルは耐性を示しており、下流タスクにおける明確な損失偏差の低さからその有効性が裏付けられている。
• 雨除去を完全に阻止することを目的とした入力に近い攻撃に対しても、提案モデルは入力と出力の間に顕著な差を維持しており、敵対的圧力下でも効果的な雨除去が可能であることが示された。
• アテンション機構、再帰、敵対的損失といったモジュールが、ロバストネスの向上に寄与する主要因として特定され、最終的なモデルアーキテクチャに統合された。