[논문 리뷰] Towards Understanding Limitations of Pixel Discretization Against Adversarial Attacks

Jiefeng Chen, Xi Wu외 3명|arXiv (Cornell University)|2018. 05. 20.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 4

한 줄 요약

이 논문은 적대적 공격에 대비한 전처리 방어로 픽셀 이산화를 조사하며, 데이터에 기반한 이산화 기법을 제안하여 강건성을 향상시키고자 한다. 이론적 및 실험적 분석에도 불구하고, 복잡한 데이터셋인 CIFAR-10에서 강력한 화이트박스 공격에 대해 이러한 방법들이 클러스터 분리성의 본질적 한계로 인해 실패함을 발견하여, 픽셀 이산화가 MNIST와 같은 단순한 데이터셋을 초월해 효과가 없을 것임을 결론 내린다.

ABSTRACT

Wide adoption of artificial neural networks in various domains has led to an increasing interest in defending adversarial attacks against them. Preprocessing defense methods such as pixel discretization are particularly attractive in practice due to their simplicity, low computational overhead, and applicability to various systems. It is observed that such methods work well on simple datasets like MNIST, but break on more complicated ones like ImageNet under recently proposed strong white-box attacks. To understand the conditions for success and potentials for improvement, we study the pixel discretization defense method, including more sophisticated variants that take into account the properties of the dataset being discretized. Our results again show poor resistance against the strong attacks. We analyze our results in a theoretical framework and offer strong evidence that pixel discretization is unlikely to work on all but the simplest of the datasets. Furthermore, our arguments present insights why some other preprocessing defenses may be insecure.

연구 동기 및 목표

• 복잡한 데이터셋에서 강력한 화이트박스 공격에 대해 전처리 방어 기법인 픽셀 이산화가 실패하는 이유를 이해하는 것.
• 일반적인 분포 무관 기법과 비교해 데이터 특화 픽셀 이산화 기법이 강건성을 향상시킬 수 있는지 조사하는 것.
• 데이터 클러스터링과 분리 가능성에 기반해 픽셀 이산화 방어의 강건성 분석을 위한 이론적 프레임워크를 수립하는 것.
• 특히 단순한 데이터셋에서 특정 조건 하에 적대적 강건성에 대한 공식적인 증명을 제공하는 것.
• 강력한 공격 하에서의 구조적 취약성을 분석함으로써 픽셀 이산화의 통찰을 다른 전처리 방어 기법으로 일반화하는 것.

제안 방법

• 기본 데이터 분포에 기반해 코드워드를 구성하는 데이터 기반 픽셀 이산화를 제안하며, 고정 또는 균일한 양자화를 사용하는 것이 아니라.
• 입력 공간 내 거리에 따라 픽셀을 코드워드에 할당하는 방식으로 픽셀 이산화를 클러스터링 과정으로 모델링하는 것.
• 정확도와 강건성 간의 트레이드오프를 분석하는 이론적 프레임워크를 도입하며, 잘 분리된 클러스터의 필요성을 강조하는 것.
• 이산화 출력을 변경하기 위해 필요한 최소 변형 크기를 제한하는 적대적 강건성에 대한 공식 증명을 개발하는 것.
• 방어의 강건성을 평가하기 위한 강력한 기준으로 뒷통로 기반 미분 가능한 근사(BPDA) 공격을 사용하는 것.
• MNIST와 CIFAR-10에서의 실험적 평가를 통해 적대적 환경 하에서 표준 및 데이터 특화 이산화 기법의 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 데이터 특화 픽셀 이산화 기법이 일반적인 분포 무관 기법에 비해 적대적 강건성을 크게 향상시킬 수 있는가?
• RQ2 픽셀 이산화가 어떤 조건에서 공식적으로 적대적 강건성을 보장할 수 있는가?
• RQ3 MNIST에서 성공한 반면 CIFAR-10과 같은 복잡한 데이터셋에서는 왜 픽셀 이산화와 같은 전처리 방어 기법이 실패하는가?
• RQ4 데이터 분포 내 픽셀 클러스터의 분리 가능성은 이산화 기반 방어의 강건성에 어떤 영향을 미치는가?
• RQ5 픽셀 이산화에서 도출된 이론적 통찰은 다른 전처리 방어 기법으로 얼마나 일반화될 수 있는가?

주요 결과

• 픽셀 이산화 기법은 픽셀 클러스터가 잘 분리되어 있는 단순한 데이터셋인 MNIST에서는 잘 작동하며, 강건성에 대해 공식적인 증명을 내릴 수 있다.
• CIFAR-10과 같은 복잡한 데이터셋에서는 클러스터 분리성이 열악하여 BPDA와 같은 강력한 화이트박스 공격에 실패한다.
• 이 방법의 강건성은 정확도와 강건성 간의 본질적 트레이드오프로 인해 근본적으로 제한된다: 정확도를 확보하기 위해 필요한 작은 클러스터는 취약한 경계를 초래한다.
• 심지어 정교한 데이터 기반 이산화 기법이라도, 기초 모델의 적대적 강건성이 열악하기 때문에 복잡한 데이터에서 강건성이 크게 향상되지 않는다.
• 이론적 분석 결과, 잘 분리된 클러스터를 형성할 수 없기 때문에 픽셀 이산화 기법은 단순한 데이터셋을 제외한 모든 데이터셋에서 효과가 없을 가능성이 높다.
• 이러한 발견은 전처리 방어의 일반적인 취약성을 시사한다: 기초 모델이 강건성이 없다면, 전처리만으로는 강력한 공격에 대한 보안을 확보할 수 없다.