[논문 리뷰] Adversarial Initialization - when your network performs the way I want -

Kathrin Grosse, Thomas Alexander Trost외 2명|arXiv (Cornell University)|2019. 02. 08.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 딥러닝 모델 성능을 저하시키기 위해 단지 미학습된 초기 가중치만 조작하는 새로운 공격인 적대적 초기화를 소개한다. 특히 간단한 순열을 통해 실현되며, 훈련 데이터나 모델 아키텍처 지식 없이 MNIST에서 최대 50%의 정확도를 달성하거나 훈련 시간을 두 배로 늘릴 수 있다. 이 공격은 표준 딥러닝 워크플로우의 심각한 취약점을 드러낸다.

ABSTRACT

The increase in computational power and available data has fueled a wide deployment of deep learning in production environments. Despite their successes, deep architectures are still poorly understood and costly to train. We demonstrate in this paper how a simple recipe enables a market player to harm or delay the development of a competing product. Such a threat model is novel and has not been considered so far. We derive the corresponding attacks and show their efficacy both formally and empirically. These attacks only require access to the initial, untrained weights of a network. No knowledge of the problem domain and the data used by the victim is needed. On the initial weights, a mere permutation is sufficient to limit the achieved accuracy to for example 50% on the MNIST dataset or double the needed training time. While we can show straightforward ways to mitigate the attacks, the respective steps are not part of the standard procedure taken by developers so far.

연구 동기 및 목표

• 딥러닝에서 이전에 고려되지 않은 위협 모델을 식별하고 악용하는 것: 훈련되지 않은 네트워크 가중치의 적대적 조작.
• 간단한 가중치 순열이 모델 정확도를 심각하게 떨어뜨리거나 훈련 시간을 늘릴 수 있음을 보여주는 것.
• 훈련 데이터나 문제 도메인 지식 없이도 이러한 공격이 효과를 발휘할 수 있음을 보여주는 것.
• 현재 딥러닝 개발 파이프라인에서 표준적인 대응 조치가 부족하다는 점을 부각하는 것.

제안 방법

• 공격은 딥 네ural 네트워크의 초기 미학습 가중치에 전략적 순열을 적용한다.
• 순열은 훈련 시작 단계부터 기울기 흐름과 최적화 역학을 방해하도록 설계된다.
• 공격은 초기 가중치 텐서를 초과해 훈련 데이터, 레이블, 모델 아키텍처에 대한 액세스가 필요하지 않다.
• 공격의 최적화 수렴 및 최종 정확도에 대한 영향을 공식적으로 분석한다.
• 성능 저하를 측정하기 위해 MNIST와 같은 표준 벤치마크에서 실증적 검증을 수행한다.
• 다양한 네트워크 아키텍처와 초기화 방법에 대해 효과적임을 입증한다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 모델 구조에 대한 액세스 없이도, 훈련되지 않은 네트워크 가중치의 적대적 조작이 모델 성능을 떨어뜨릴 수 있는가?
• RQ2 간단한 가중치 순열이 딥 네트워크에서 최종 정확도를 얼마나 낮추거나 훈련 시간을 얼마나 늘릴 수 있는가?
• RQ3 훈련 데이터나 레이블 정보가 없음에도 불구하고 이 공격이 효과적인 이유는 무엇인가?
• RQ4 이러한 공격이 성공하는 공식적이고 실증적인 조건은 무엇인가?
• RQ5 왜 현재의 딥러닝 관행은 이러한 초기화 수준의 공격에 취약한가?

주요 결과

• 훈련되지 않은 네트워크 가중치의 단순한 순열만으로도 원래 초기화 방식과 관계없이 MNIST 테스트 정확도가 약 50%로 감소한다.
• 공격는 목표 정확도 기준에 도달하기 위한 훈련 에포크 수를 두 배로 늘릴 수 있다.
• 공격는 다양한 네트워크 아키텍처에서 효과적이며, 훈련 데이터나 문제 도메인 지식이 필요하지 않다.
• 이 취약성은 초기화 단계에서 최적화 역학을 공격함으로써 발생하며, 이는 가중치 순서에 매우 민감하기 때문이다.
• 표준 딥러닝 관행에는 이러한 초기화 수준의 공격에 대응하는 방어 조치가 포함되어 있지 않아 모델이 노출되어 있다.
• 비록 대응 조치는 가능하지만, 표준 훈련 절차에 포함되어 있지 않아 현재 모델 개발 보안 측면에서 격차가 있음을 시사한다.