[논문 리뷰] Built-in Vulnerabilities to Imperceptible Adversarial Perturbations

Thomas Tanay, Jerone T. A. Andrews외 1명|arXiv (Cornell University)|2018. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 6

한 줄 요약

이 논문은 자연적 정확도를 떨어뜨리지 않으면서 사전 훈련된 모델에 적대적 취약성을 끼워넣는 것이 놀랍게도 쉽다는 것을 보여준다. 저자들은 훈련 데이터의 저분산 성분에 대한 민감도를 높이기 위해 선형 레이어를 기울이는 방식으로, 눈에 띄지 않는 변형에 취약한 모델을 만들었다. 이는 스테고그래프 디코더나 최소 0.1%의 오염 비율로도 공격할 수 있다.

ABSTRACT

Designing models that are robust to small adversarial perturbations of their inputs has proven remarkably difficult. In this work we show that the reverse problem---making models more vulnerable---is surprisingly easy. After presenting some proofs of concept on MNIST, we introduce a generic tilting attack that injects vulnerabilities into the linear layers of pre-trained networks by increasing their sensitivity to components of low variance in the training data without affecting their performance on test data. We illustrate this attack on a multilayer perceptron trained on SVHN and use it to design a stand-alone adversarial module which we call a steganogram decoder. Finally, we show on CIFAR-10 that a poisoning attack with a poisoning rate as low as 0.1% can induce vulnerabilities to chosen imperceptible backdoor signals in state-of-the-art networks. Beyond their practical implications, these different results shed new light on the nature of the adversarial example phenomenon.

연구 동기 및 목표

• 강력한 모델이 자연적 성능에 영향을 주지 않으면서 눈에 띄지 않는 적대적 변형에 취약하게 만들 수 있는지 조사하기.
• 기계 학습 as a service 및 온라인 학습 시스템에서 숨겨진 백도어가 삽입될 수 있는 새로운 실질적 위협을 드러내기.
• 저분산 데이터 성분의 역할을 분석함으로써 딥 네트워크가 적대적 예제에 취약한 이유에 대한 이론적 통찰을 제공하기.
• 다양한 비강건 특징을 훈련 후에 도입함으로써 적대적 강건성과 자연적 정확도가 본질적으로 충돌하지 않는다는 것을 보여주기.

제안 방법

• 선형 레이어의 가중치 행렬을 수정하여 훈련 데이터의 저분산 성분에 대한 민감도를 높이는 '기울임 공격'을 제안한다.
• SVHN에서 다층 퍼셉트론에 기울임 공격를 적용하여, 테스트 정확도를 유지하면서 눈에 띄지 않는 변형에 취약하게 만든다.
• 모델의 결정 경계에 백도어 신호를 삽입할 수 있는 독립형 적대적 모듈인 '스테고그래프 디코더'를 도입한다.
• CIFAR-10에서 최신 네트워크에 대해 0.1%의 오염 비율로도 특정 눈에 띄지 않는 백도어 신호에 취약하게 만들 수 있는 오염 공격을 설계한다.
• 적대적 예제 생성 중 기울기 마스킹을 방지하기 위해 소프트맥스 온도를 校정한다. 이는 유효한 강건성 평가를 보장한다.
• 평탄한 타원체 모델을 사용하여 적대적 취약성의 기하학적 기원을 설명하며, 이는 해상도가 증가함에 따라 다양한 이미지 데이터셋에 일반화됨을 보여준다.

실험 결과

연구 질문

• RQ1 자연 데이터에서 강력한 모델과 동일하게 작동하지만 눈에 띄지 않는 적대적 변형에 취약한 분류기를 만들 수 있는가?
• RQ2 훈련 데이터의 저분산 성분이 선형 레이어에서 적대적 취약성을 유도하는 데 어떤 역할을 하는가?
• RQ3 스테고그래프 디코더를 사용하여 사전 훈련된 모델에 숨겨진 백도어 취약성을 삽입할 수 있는가?
• RQ4 최소한의 오염 비율로도 특정 눈에 띄지 않는 신호에 대한 강건성 실패를 유도할 수 있는 정도는 어느 정도인가?
• RQ5 적대적 취약성 현상은 일반화 능력 부족에서 기인하는가, 아니면 특징 공간 조작을 통해 인위적으로 유도될 수 있는가?

주요 결과

• 기울임 공격는 SVHN에서 테스트 정확도를 떨어뜨리지 않으면서도 저분산 데이터 성분에 대한 민감도를 성공적으로 높였다.
• 스테고그래프 디코더는 눈에 띄지 않는 백도어 신호를 모델의 결정 경계에 삽입할 수 있는 독립형 적대적 모듈로 구성할 수 있다.
• CIFAR-10에서 최신 모델에 대해 오직 0.1%의 오염된 데이터로도 특정 눈에 띄지 않는 백도어 신호에 취약하게 만들 수 있었다.
• 평탄한 타원체 모델은 고차원 데이터 분포의 기하학적 성질로써 적대적 취약성을 설명하며, MNIST, SVHN, CIFAR-10 전반에 걸쳐 유효하다.
• 결과는 강건하고 비강건한 특징가 동시에 모델 내에서 공존할 수 있으며, 이는 적대적 취약성이 자연 분류에 사용되는 동일한 특징에서 기인한다는 가정을 도전한다.
• 실험적 검증을 통해 자연 정확도가 높은 상태에서도 눈에 띄지 않는 변형에 취약하게 만들 수 있음을 보여주었으며, 이는 MLaaS 및 온라인 학습 환경에서 새로운 공격 벡터를 드러냈다.