[논문 리뷰] Adversarial Examples on Object Recognition: A Comprehensive Survey

Alex Serban, Erik Poll외 1명|arXiv (Cornell University)|2020. 08. 07.

Adversarial Robustness in Machine Learning참고 문헌 180인용 수 11

한 줄 요약

이 종합적 서베이는 객체 인식에서의 적대적 예제를 분석하여 원인, 공격 및 방어 방법, 모델 간 이행 가능성, 딥 뉴럴 네트워크의 보안성 및 강건성에 대한 영향을 다룹니다. 이는 현상에 대한 통합된 프레임워크를 제공하며, 인증된 강건성과 확장 가능한 방어 전략을 달성하는 데 있어 열려 있는 과제를 규명합니다.

ABSTRACT

Deep neural networks are at the forefront of machine learning research. However, despite achieving impressive performance on complex tasks, they can be very sensitive: Small perturbations of inputs can be sufficient to induce incorrect behavior. Such perturbations, called adversarial examples, are intentionally designed to test the network's sensitivity to distribution drifts. Given their surprisingly small size, a wide body of literature conjectures on their existence and how this phenomenon can be mitigated. In this article we discuss the impact of adversarial examples on security, safety, and robustness of neural networks. We start by introducing the hypotheses behind their existence, the methods used to construct or protect against them, and the capacity to transfer adversarial examples between different machine learning models. Altogether, the goal is to provide a comprehensive and self-contained survey of this growing field of research.

연구 동기 및 목표

• 적대적 예제의 기원, 메커니즘, 영향을 포함하여 객체 인식에서의 적대적 예제에 대한 자율적이고 종합적인 서베이를 제공하기 위해.
• 안전 중심 기계 학습 응용 분야에서 적대적 예제로 인해 발생하는 보안성 및 강건성 문제를 분석하기 위해.
• 다양한 기계 학습 모델과 아키텍처 간에 적대적 예제의 이행 가능성에 대해 검토하기 위해.
• 기존의 방어 전략을 평가하고, 특히 인증 방어 전략에 대한 강건성 보장의 격차를 규명하기 위해.
• 이론적 기초와 확장 가능한 강건한 훈련 방법을 포함한 열린 문제들을 규명하여 향후 연구를 이끌기 위해.

제안 방법

• 백색 상자, 블랙박스, 쿼리 기반 공격를 포함한 적대적 예제 생성 방법을 체계적으로 분류합니다.
• 기본 메커니즘에 따라 적대적 훈련, 입력 전처리, 인증 방어로 방어 기법을 분류합니다.
• 다른 모델들조차도 서로를 속일 수 있도록 한 공격 예제의 이행 가능성에 대해 분석합니다.
• 적대적 예제 존재에 대한 이론적 가설을 검토합니다. 고차원 기하학과 결정 경계 민감도를 포함합니다.
• 현재 방어 전략의 한계를 평가합니다. 적응형 공격에 대한 취약성과 공식적인 강건성 보장의 부재를 포함합니다.
• 보안 및 안전성 영향을 현실 세계의 구현에 둘러싸기 위해 위협 모델과 운영 시나리오의 분류 체계를 도입합니다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크, 특히 객체 인식에서 적대적 예제의 근본적인 원인은 무엇인가요?
• RQ2 적대적 예제는 다양한 기계 학습 모델 간에 어떻게 이행되며, 이는 모델 보안에 어떤 영향을 미치나요?
• RQ3 기존의 방어 방법이 적대적 공격에 대해 얼마나 강건성을 제공할 수 있으며, 그 한계는 무엇인가요?
• RQ4 대규모 모델에 대해 확장 가능하고 효과적인 인증 방어를 개발하는 데 있어 핵심 과제는 무엇인가요?
• RQ5 안전 중심 응용 분야에서 적대적 강건성을 의미 있게 측정하고 검증하는 방법은 무엇인가요?

주요 결과

• 적대적 예제는 다양한 모델 간에 매우 높은 이행성을 보이며, 아키텍처에 관계없이 딥 뉴럴 네트워크에 광범위한 취약성을 나타냅니다.
• 광범위한 연구에도 불구하고, 공식적으로 검증된 것 포함 모든 알려진 방어 전략이 적응형 공격에 의해 무너졌으며, 현재 솔루션의 취약성을 드러냅니다.
• 인증 방어는 정확한 강건성 범위를 제공하지만 현재는 높은 계산 비용과 확장성 문제로 제한되어 있습니다.
• 현재 이론으로는 적대적 예제의 존재를 완전히 설명할 수 없으며, 그 존재에 대한 통일된 가설은 아직 존재하지 않습니다.
• 적대적 예제는 딥 러닝 모델이 인간의 인식과 달리 작은 변형이 큰 영향을 미치는 고차원 공간에서 작동한다는 점을 드러냅니다.
• 현재의 기계 학습 모델에는 이성적이고 느린 사고 기제가 부족하여 적대적 예제에 취약합니다. 반면 인간은 환각을 감지하고 수정할 수 있습니다.