[논문 리뷰] On the Limitations of Stochastic Pre-processing Defenses

Yue Gao, Ilia Shumailov외 2명|arXiv (Cornell University)|2022. 06. 19.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 추론 시점에 적용되는 랜덤화된 입력 변환을 기반으로 하는 스토하스틱 프리프로세싱 방어 기법을 조사하고, 이러한 기법이 본질적으로 한계가 있음을 입증한다. 대부분의 방어 기법은 표준 공격(예: PGD)에 저항할 만큼 충분한 랜덤성을 확보하지 못하며, 방어의 강건성과 랜덤화에 대한 모델의 불변성 사이에 상충 관계가 존재해 방어의 효과성을 떨어뜨린다. 저자들은 랜덤성 자체가 강건성을 보장하지 않음을 이론적·실험적 근거로 제시하며, 향후 방어 기법은 강건성과 불변성 간의 분리를 통해 실패를 피해야 한다고 주장한다.

ABSTRACT

Defending against adversarial examples remains an open problem. A common belief is that randomness at inference increases the cost of finding adversarial inputs. An example of such a defense is to apply a random transformation to inputs prior to feeding them to the model. In this paper, we empirically and theoretically investigate such stochastic pre-processing defenses and demonstrate that they are flawed. First, we show that most stochastic defenses are weaker than previously thought; they lack sufficient randomness to withstand even standard attacks like projected gradient descent. This casts doubt on a long-held assumption that stochastic defenses invalidate attacks designed to evade deterministic defenses and force attackers to integrate the Expectation over Transformation (EOT) concept. Second, we show that stochastic defenses confront a trade-off between adversarial robustness and model invariance; they become less effective as the defended model acquires more invariance to their randomization. Future work will need to decouple these two effects. We also discuss implications and guidance for future research.

연구 동기 및 목표

• 스토하스틱 프리프로세싱 방어 기법의 본질적 한계를 추론 시점의 랜덤 입력 변환에 의존하는 방식으로 조사하는 것.
• 랜덤성이 공격 비용을 자연스럽게 증가시킨다는 널리 퍼진 믿음을 도전하는 것.
• 이러한 방어 기법이 유도하는 강건성과 불변성 사이의 상충 관계를 규명하고 분석하는 것.
• 현재의 랜덤화 전략의 함정을 드러내어 향후 방어 설계에 대한 지침을 제공하는 것.

제안 방법

• 저자들은 표준 공격(예: PGD)을 사용해 여러 스토하스틱 방어 기법을 체계적으로 평가하였으며, 전환에 대한 기대값(Expectation over Transformation, EOT) 없이도 최소한의 적응성 가정 하에 강건성을 테스트하였다.
• 랜덤화 공간의 증가(예: BaRT에서의 경우)가 방어 효과성에 미치는 영향을 분석하였으며, EOT 유무를 비교하였다.
• 강건성과 불변성 사이의 상충 관계를 정량화하기 위해 이론적 분석을 개발하였으며, 강건성이 유도된 분산에서 기인하며, 이 분산을 줄여야 기능성을 유지할 수 있음을 보였다.
• 표준 데이터셋(예: ImageNet, ImageNette)과 모델을 대상으로 실험적 검증을 수행하였으며, 변환에 대한 불변성을 향상시키기 위해 미세조정을 수행했을 때의 강건성 저하 정도를 측정하였다.
• 기존의 유명한 방어 기법(예: BaRT, DiffPure)과 새로운 기법(예: 랜덤화된 활성도 프루닝, 중단된 활성도)을 평가하여 일반화 가능성 여부를 점검하였다.
• 관찰된 패tern을 바탕으로 향후 공격 및 방어 설계 지침을 도출하였으며, 강건성과 불변성의 분리를 강조하였다.

실험 결과

연구 질문

• RQ1 왜 많은 스토하스틱 프리프로세싱 방어 기법들이 랜덤성을 기반으로 하더라도 표준 공격(예: PGD)에 실패하는가?
• RQ2 전환에 대한 기대값(EOT)이 스토하스틱 방어 기법을 무력화시키는 데 어떤 역할을 하는가? 그리고 언제 실제로 필요한가?
• RQ3 모델이 랜덤 변환에 대해 불변성이 높아질수록 스토하스틱 방어 기법의 강건성에 어떤 영향을 미치는가?
• RQ4 스토하스틱 프리프로세싱 방어 기법에서 강건성과 불변성 사이의 이론적 상충 관계를 공식적으로 수립할 수 있는가?
• RQ5 현재 접근 방식의 함정을 피하기 위해 향후 스토하스틱 방어 기법을 설계할 때 따라야 할 설계 원칙은 무엇인가?

주요 결과

• 대부분의 스토하스틱 프리프로세싱 방어 기법은 EOT 없이도 PGD와 같은 표준 공격에 저항할 만큼 충분한 랜덤성을 확보하지 못해, 랜덤성이 공격 비용을 자연스럽게 증가시킨다는 가정을 뒤엎는다.
• EOT는 방어 기법이 충분한 랜덤성을 확보하고 있을 때에만 유의미한 이점을 제공한다. 그렇지 않다면 표준 공격이 이미 잘 작동하므로, 강건성이 과도하게 과대평가된 것으로 나타난다.
• 강건성과 모델의 불변성 사이에 본질적인 상충 관계가 존재한다: 모델이 변환에 더 불변성이 커질수록 강건성이 감소한다.
• 실험 결과, 방어 기반 데이터로 모델을 미세조정할 경우 강건성이 감소함을 확인하여 이론적 상충 관계를 뒷받침한다.
• 이론적 분석을 통해 이러한 방어 기법에서 강건성이 유도된 분산에서 기인하며, 이 분산을 줄여야 기능성을 유지할 수 있음을 증명하였고, 이는 방어 기법이 본질적으로 취약함을 의미한다.
• 이러한 발견은 입력 변환 외의 다른 스토하스틱 방어 기법(예: 랜덤화된 활성도 프루닝, 중단된 활성도)에도 일반화되며, 방어 설계에 광범위한 영향을 미친다.