[논문 리뷰] Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks

Aamir Mustafa, Salman Khan외 4명|arXiv (Cornell University)|2019. 04. 01.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 28

한 줄 요약

이 논문은 적대적 훈련을 사용하지 않고 기울기 가로막힘 없이, 볼록 다면체 제약 조건을 통해 중간 특징 표현의 클래스별 분리도를 강제하여 딥 네ural 네트워크의 강건성을 향상시키는 능동 방어 기법을 제안한다. 이는 클래스별 특징 다양체 간의 최대한의 분리를 보장한다. 이 방법은 적대적 훈련 없이도 최신 기준 수준의 강건성을 달성한다 — CIFAR-10에서 PGD 공격에 대해 46.7%, CIFAR-100에서 36.1%의 강건성 성능을 기록한다.

ABSTRACT

Deep neural networks are vulnerable to adversarial attacks, which can fool them by adding minuscule perturbations to the input images. The robustness of existing defenses suffers greatly under white-box attack settings, where an adversary has full knowledge about the network and can iterate several times to find strong perturbations. We observe that the main reason for the existence of such perturbations is the close proximity of different class samples in the learned feature space. This allows model decisions to be totally changed by adding an imperceptible perturbation in the inputs. To counter this, we propose to class-wise disentangle the intermediate feature representations of deep networks. Specifically, we force the features for each class to lie inside a convex polytope that is maximally separated from the polytopes of other classes. In this manner, the network is forced to learn distinct and distant decision regions for each class. We observe that this simple constraint on the features greatly enhances the robustness of learned models, even against the strongest white-box attacks, without degrading the classification performance on clean images. We report extensive evaluations in both black-box and whitebox attack scenarios and show significant gains in comparison to state-of-the art defenses1. 1Code and and models are available at: https://github.com/ aamir-mustafa/pcl-adversarial-defense Code and and models are available at: https://github.com/ aamir-mustafa/pcl-adversarial-defense

연구 동기 및 목표

• 딥 네ural 네트워크가 적대적 공격에 취약한 점을 해결하기 위해, 특히 공격자가 모델에 대한 완전한 액세스 권한을 가진 흰 상자 환경에서의 공격에 대비하는 것.
• 숨겨진 특징 공간에서 기하학적 분리를 강제하면 적대적 편향에 대한 강건성이 향상되는지 탐구하는 것.
• 적대적 훈련이나 기울기 가로막힘에 의존하지 않고 결정 경계의 강건성을 향상시키는 방어 기법을 개발하는 것.
• 다양한 데이터셋과 공격 유형(강력한 반복적 공격 포함)에 걸쳐 방법의 효과성을 검증하는 것.

제안 방법

• 각 클래스의 중간 특징이 다른 클래스의 특징 다면체로부터 최대한 분리된 볼록 다면체 내에 위치하도록 강제한다.
• 네트워크의 여러 레이어에서 특징 표현을 최적화하기 위해 다중 수준의 깊은 감독 손실 함수를 도입한다.
• 손실 함수는 특징 공간 내에서 클래스 내 밀도를 높이고 클래스 간 분리를 강화하여 클래스 다양체 간의 겹침을 줄인다.
• 이 접근법은 적대적 편향이 결정 경계를 쉽게 넘지 못하도록 보장하기 위해 기하학적 제약 조건을 사용한다.
• 적대적 데이터를 훈련 중에 사용하지 않는 수정된 훈련 목표를 통해 방어 기법을 구현한다.
• 증가하는 편향 예산에 따라 일관된 강건성 추세와 다양한 공격 유형에서의 일관된 성능을 확보함으로써 기울기 가로막힘을 피한다.

실험 결과

연구 질문

• RQ1 숨겨진 특징 공간에서 기하학적 분리를 강제하면 강력한 흰 상자 적대적 공격에 대한 강건성이 향상되는가?
• RQ2 특징 다양체에 대한 다면체 기반 제약 조건이 적대적 편향이 결정 경계를 넘는 것을 방지하는가?
• RQ3 흑상자 및 흰상자 공격 환경 모두에서 제안된 방법은 최신 기준 방어 기법보다 우수한가?
• RQ4 이 방어 기법은 이전 방어 기법에서 흔히 발생하는 기울기 가로막힘 문제를 악용하는가?
• RQ5 적대적 훈련 없이도 높은 정확도를 유지하면서 뛰어난 강건성을 달성할 수 있는가?

주요 결과

• 제안된 방어 기법은 CIFAR-10에서 ϵ = 0.03인 PGD 공격에 대해 46.7%의 강건 정확도를 달성하여 이전 최고 수준의 방어 기법을 크게 능가한다.
• CIFAR-100에서도 동일한 PGD 공격 조건에서 36.1%의 강건 정확도를 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 보여준다.
• 적대적 훈련 없이도 높은 정상 정확도(90.8% on CIFAR-10)를 유지하면서 강건성을 확보한다.
• 모든 공격 유형, 특히 PGD, BIM, MIM, C&W와 같은 반복적 공격 유형에 대해 일관된 강건성을 보이며, 편향 예산 증가에 따라 성능 저하가 없이 유지된다.
• 증가하는 ϵ에 따라 강건성이 단조롭게 감소하고 다양한 공격 유형에서 일관된 성능을 보임으로써 기울기 가로막힘을 보이지 않는다.
• 실험 결과는 제안된 방법 하에서 페널티 레이어에서의 특징 표현이 잘 분리되어 있음을 보여주며, 이는 적대적 편향에 대한 저항성을 높인다.