[논문 리뷰] Defense Against the Dark Arts: An overview of adversarial example security research and future research directions

Ian Goodfellow|arXiv (Cornell University)|2018. 06. 11.

Adversarial Robustness in Machine Learning인용 수 24

한 줄 요약

이 논문은 적대적 예제 방어 연구에 대한 종합적인 개요를 제공하며, 강건성은 위협 모델과 노름 제약 조건(L∞, L1 등)에 매우 의존적임을 강조한다. 기울기 마스킹에 의존하는 방어 방법은 환상적이라며, 특정 노름 조건 하에서의 인증된 강건성에 찬성하고, 레이블 스무딩과 로짓 정규화와 같은 간접적 정규화 기법이 적대적 강건성에 직접 최적화하지 않더라도 유망하고 일반화 가능한 방어 방법임을 강조한다.

ABSTRACT

This article presents a summary of a keynote lecture at the Deep Learning Security workshop at IEEE Security and Privacy 2018. This lecture summarizes the state of the art in defenses against adversarial examples and provides recommendations for future research directions on this topic.

연구 동기 및 목표

• 적대적 방어 기법의 최신 동향을 조사하고 그 한계를 규명하기.
• 많은 방어 방법이 기울기 마스킹에 의존할 경우 적응형 공격에 취약하다는 점을 부각하기.
• 특정 공격 모델을 초월해 일반화되는 방어 방법, 예를 들어 간접 정규화 기반 방어 방법을 지지하기.
• 특정 노름 제약 조건(L∞, L1 등) 하에서의 인증된 강건성의 중요성과 현재 인증 방법의 한계를 강조하기.
• 적대적 예제 연구가 준지도 학습, 모델 해석 가능성, 신경망 일반화 이해 등에 미치는 광범위한 영향을 탐색하기.

제안 방법

• 위협 모델 기반의 공격 및 방어 분류 체계를 사용하며, 데이터 오염, 모델 도용, 테스트 시점 적대적 예제를 포함한다.
• 적대적 예제는 청소화된 입력과의 시각적 유사성으로 정의되어서는 안 되며, 기준 표준 하에서 정확한 행동에서의 이탈로 정의되어야 한다고 제안한다.
• 강력한 공격(예: PGD)을 사용한 적대적 훈련이 주요 방어 전략으로서, 특히 L∞ 노름에서 매우 효과적임을 검토한다.
• 기타 위협 모델(예: L1) 하에서의 방어 실패를 분석하여, 강건성이 노름 기반임을 입증한다.
• 레이블 스무딩과 로짓 정규화가 적대적 최적화를 직접적으로 최적화하지 않더라도 강건성을 향상시키는 간접적 방어 방법임을 식별한다.
• 가장 강력한 알려진 공격에 대비해 방어 성능을 평가하기 위해 CleverHans 라이브러리를 사용해 벤치마킹을 권장한다.

실험 결과

연구 질문

• RQ1 왜 많은 방어 방법들이 적응형 공격에 노출되었을 때 강건성이 유지되지 않는가?
• RQ2 어느 정도의 범위에서 방어 방법이 특정 노름 또는 위협 모델(예: L∞ 대비 L1)을 초월해 일반화될 수 있는가?
• RQ3 간접 정규화 기법(예: 레이블 스무딩, 로짓 정규화)이 직접적인 적대적 훈련 없이도 강건성을 제공할 수 있는가?
• RQ4 적대적 예제가 모델이 진정한 이해 대신 유사한 상관관계를 학습하고 있음을 어떻게 드러내는가?
• RQ5 적대적 예제 연구가 준지도 학습 및 모델 해석 가능성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 기울기 마스킹에 기반한 방어 방법(예: 기울기를 조작해 적대적 예제를 숨기는 방식)은 보이기만 하지 않지만, 적응형 공격에 쉽게 무너진다.
• Madry 등(2018)의 최신 기술은 L∞ 노름 내에서 MNIST에서 높은 강건성을 달성하지만, L1 노름에서는 실패하여 노름 기반 취약성을 입증한다.
• 인증된 방어 방법은 존재하지만 특정 노름 구역에 국한되어 있으며, 그 인증서는 다른 위협 모델로 일반화되지 않는다.
• GAN 기반 모델은 인간에게 자연스럽게 보이는 적대적 예제를 생성할 수 있으며, 심지어 인증된 방어 방법조차도 무너뜨린다.
• 레이블 스무딩과 로짓 정규화는 직접적인 적대적 최적화 없이도 강건성을 향상시키며, 더 일반화 가능한 방어 방법으로의 길을 제시한다.
• 적대적 예제 연구는 가상의 적대적 훈련 방식을 통해 준지도 학습을 향상시켰으며, 최근 벤치마크에서 다른 방법들을 능가했다.