[논문 리뷰] Towards Robust Rain Removal Against Adversarial Attacks: A Comprehensive Benchmark Analysis and Beyond

Yi Yu, Wenhan Yang외 2명|arXiv (Cornell University)|2022. 03. 31.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 딥러닝 기반 비 제거 방법에서의 적대적 내성에 대한 첫 번째 종합적 분석을 제시하며, 변형에 대한 취약성을 규명하고 효과적인 모듈을 통합하여 더 강건한 비 제거 모델을 제안한다. 이 방법은 대상 공격—예를 들어 객체 민감성 공격, 비 영역 공격, 눈에 띄지 않는 공격—에 대해 뛰어난 저항성을 보이며, 시각적 품질을 유지하면서도 후속 작업 성능을 향상시킨다.

ABSTRACT

Rain removal aims to remove rain streaks from images/videos and reduce the disruptive effects caused by rain. It not only enhances image/video visibility but also allows many computer vision algorithms to function properly. This paper makes the first attempt to conduct a comprehensive study on the robustness of deep learning-based rain removal methods against adversarial attacks. Our study shows that, when the image/video is highly degraded, rain removal methods are more vulnerable to the adversarial attacks as small distortions/perturbations become less noticeable or detectable. In this paper, we first present a comprehensive empirical evaluation of various methods at different levels of attacks and with various losses/targets to generate the perturbations from the perspective of human perception and machine analysis tasks. A systematic evaluation of key modules in existing methods is performed in terms of their robustness against adversarial attacks. From the insights of our analysis, we construct a more robust deraining method by integrating these effective modules. Finally, we examine various types of adversarial attacks that are specific to deraining problems and their effects on both human and machine vision tasks, including 1) rain region attacks, adding perturbations only in the rain regions to make the perturbations in the attacked rain images less visible; 2) object-sensitive attacks, adding perturbations only in regions near the given objects. Code is available at https://github.com/yuyi-sd/Robust_Rain_Removal.

연구 동기 및 목표

• 높은 이미지 훼손 상태에서 딥러닝 기반 비 제거 모델이 적대적 공격에 얼마나 취약한지 조사하기 위해.
• 비 제거 모델에서 핵심 아키텍처 및 손실 구성 요소(예: 어텐션, 순환, 적대적 손실)의 내성을 평가하기 위해.
• 적대적 조건에서 효과적임이 입증된 모듈을 통합하여 더 강건한 비 제거 모델을 개발하기 위해.
• 비 제거 전용으로 새로운 공격 시나리오—예를 들어 객체 민감성 공격 및 비 영역 공격—를 인간 인지와 기계 시각의 관점에서 분석하기 위해.
• 적대적 변형이 후속 작업(예: 의미 분할)에 미치는 영향을 평가하여 실세계 응용에서의 신뢰성 확보하기 위해.

제안 방법

• 다양한 적대적 공격과 다양한 변형 한계(예: ε = 4/255) 하에서 비 제거 모델의 체계적 평가를 수행한다.
• 대상 공격을 적용하여, 예를 들어 소스 객체 영역에만 변형을 적용해 의미 분할 모델을 오도하는 객체 민감성 공격을 수행한다.
• 비 영역에만 집중된 부분 공격을 도입하여, 고비 밀도 영역에만 변형이 허용되도록 이진 마스크를 사용한다.
• 시각적 품질을 유지하면서 기계 성능을 악화시키는 것을 목표로, 인지 손실의 이탈을 최대화하고 MSE 손실을 최소화하는 눈에 띄지 않는 공격을 설계한다.
• 입력에 가까운 공격을 적용하여 입력과 출력 간의 차이를 최소화함으로써 비 제거를 완전히 방지하고자 한다.
• 절단 연구를 통해 확보된 고성능 모듈(예: 어텐션, 순환, 적대적 손실 구성 요소)을 통합하여 강건한 비 제거 모델을 구축한다.

실험 결과

연구 질문

• RQ1 입력 이미지가 폭우로 인해 심하게 훼손된 상태일 때, 딥러닝 기반 비 제거 모델은 적대적 공격에 어떻게 대응하는가?
• RQ2 어떤 아키텍처 구성 요소(예: 어텐션, 순환, 보조 정보)와 손실 함수(예: 적대적 손실)가 적대적 변형에 대한 내성에 가장 기여하는가?
• RQ3 특정 객체를 대상으로 하는 객체 민감성 공격은 의미 분할과 같은 후속 작업에서 비 제거 모델의 성능에 어떤 영향을 미치는가?
• RQ4 비 영역에만 국한된 변형은 얼마나 오랫동안 눈에 띄지 않게 유지되면서도 모델 성능을 떨어뜨릴 수 있는가?
• RQ5 시각적으로 인지되지 않지만 기계 시각 작업에 매우 해로운 공격을 설계할 수 있으며, 제안된 방법은 이러한 공격에 얼마나 강건한가?

주요 결과

• 딥러닝 기반 비 제거 모델은 폭우로 인해 입력 이미지가 심하게 훼손된 상태일수록 적대적 공격에 더 취약하다.
• 제안된 강건한 비 제거 모델은 MPRNet보다 객체 민감성 공격 하에서 더 나은 성능을 보이며, 보행자나 차량과 같은 목표 객체의 의미 분할을 정확히 유지한다.
• 비 영역 공격 상황에서도 제안된 모델은 MPRNet보다 더 높은 출력 품질과 더 나은 의미 일관성을 유지한다.
• 눈에 띄지 않는 공격 상황에서도 시각적 품질을 유지하면서 기계 성능을 악화시키는 공격에 대해 강건하며, 후속 작업에서 인지 손실 이탈이 낮다는 것으로 확인된다.
• 비 제거를 완전히 방지하고자 하는 입력에 가까운 공격에 대해서도 모델은 입력과 출력 간의 상당한 차이를 유지함으로써 효과적인 비 제거를 보장한다.
• 어텐션 메커니즘, 순환, 적대적 손실 등의 모듈은 내성 향상에 기여하는 핵심 요소로 규명되었으며, 최종 모델 아키텍처에 통합되었다.