[논문 리뷰] Theoretical evidence for adversarial robustness through randomization: the case of the Exponential family.

Rafaël Pinot, Laurent Meunier외 5명|arXiv (Cornell University)|2019. 02. 04.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 추론 시점에 지수형 가족 분포에서 노이즈를 주입하는 방식으로, 적대적 로버스트니에 대한 이론적 근거를 처음으로 제시한다. 랜덤라이제이션 속도와 로버스트니 사이의 공식적인 연결고리를 설정함으로써, 지수형 가족에 기반한 이론적 분석을 통해 이전의 경험적 성공 사례를 통합하고 확장한다.

ABSTRACT

This paper investigates the theory of robustness against adversarial attacks. It focuses on the family of randomization techniques that consist in injecting noise in the network at inference time. These techniques have proven effective in many contexts, but lack theoretical arguments. We close this gap by presenting a theoretical analysis of these approaches, hence explaining why they perform well in practice. More precisely, we provide the first result relating the randomization rate to robustness to adversarial attacks. This result applies for the general family of exponential distributions, and thus extends and unifies the previous approaches. We support our theoretical claims with a set of experiments.

연구 동기 및 목표

• 랜덤라이제이션 기반 방어 기법이 적대적 공격에 대해 이론적으로 이해되지 않은 점을 보완하기 위해.
• 랜덤라이제이션 속도와 적대적 예제에 대한 로버스트니 사이의 공식적인 연결고리를 수립하기 위해.
• 지수형 가족에 기반한 단일 이론적 프레임워크 아래 기존의 랜덤라이제이션 기법을 통합하고 일반화하기 위해.
• 추론 시점의 노이즈 주입이 로버스트니를 향상시키는 데 있어 경험적 성공에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 저자는 훈련 단계가 아닌 추론 단계에서 지수형 가족에서 온 노이즈를 주입하는 랜덤라이제이션 기법을 분석한다.
• 지수형 가족의 성질을 활용하여 랜덤라이제이션 속도와 모델의 로버스트니 사이의 이론적 경계를 유도한다.
• 집중 부등식과 지수형 가족 분포의 구조를 활용하여 로버스트니 향상 정도를 정량화한다.
• 일반적인 모델과 노이즈 분포(예: 가우시안, 라플라스)에 대해 약한 정규성 조건 하에서 적용 가능하다.
• 표준 벤치마크에서의 경험적 실험을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 랜덤라이제이션 속도는 딥 네URAL 네트워크의 적대적 로버스트니에 어떻게 영향을 미치는가?
• RQ2 추론 시점의 랜덤라이제이션 성공을 설명할 수 있는 이론적 프레임워크를 수립할 수 있는가?
• RQ3 지수형 가족 분포는 얼마나 깊이 기존의 랜덤라이제이션 기반 방어 기법을 통합할 수 있는가?
• RQ4 노이즈 분포의 매개변수와 로버스트니 보장 사이의 수학적 관계는 무엇인가?

주요 결과

• 논문은 랜덤라이제이션 속도와 적대적 로버스트니 사이의 공식적인 이론적 관계를 수립하여, 더 높은 랜덤라이제이션 속도가 로버스트니 향상에 기여함을 보여준다.
• 이론적 분석은 전체 지수형 가족에 적용되며, 이는 이전의 가우시안 및 라플라스 분포에 대한 결과를 통합한다.
• 유도된 경계는 모델이 적대적 훈련을 하지 않더라도 랜덤라이제이션이 로버스트니를 제공할 수 있음을 시사한다.
• 경험적 결과는 이론적 예측을 확인하며, 다양한 데이터셋과 아키텍처에서 일관된 로버스트니 향상 효과를 보여준다.