[논문 리뷰] DeepObfuscation: Securing the Structure of Convolutional Neural Networks via Knowledge Distillation

Hui Xu, Yuxin Su외 4명|arXiv (Cornell University)|2018. 06. 27.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 14

한 줄 요약

이 논문은 지식 정착을 통해 깊이 있는 특징 추출기를 얕고 순차적인 컨볼루션 블록으로 시뮬레이션하여, 구조적 침해로부터 컨volutional 네트워크(CNNs)를 보호하는 새로운 방법인 DeepObfuscation을 제안한다. 이 방법은 정확도를 유지하면서도 역공학이 불가능하도록 하여, 모델의 효율성과 미세조정 및 전이학습 공격에 대한 저항성을 높인다.

ABSTRACT

This paper investigates the piracy problem of deep learning models. Designing and training a well-performing model is generally expensive. However, when releasing them, attackers may reverse engineer the models and pirate their design. This paper, therefore, proposes deep learning obfuscation, aiming at obstructing attackers from pirating a deep learning model. In particular, we focus on obfuscating convolutional neural networks (CNN), a widely employed type of deep learning architectures for image recognition. Our approach obfuscates a CNN model eventually by simulating its feature extractor with a shallow and sequential convolutional block. To this end, we employ a recursive simulation method and a joint training method to train the simulation network. The joint training method leverages both the intermediate knowledge generated by a feature extractor and data labels to train a simulation network. In this way, we can obtain an obfuscated model without accuracy loss. We have verified the feasibility of our approach with three prevalent CNNs, i.e., GoogLeNet, ResNet, and DenseNet. Although these networks are very deep with tens or hundreds of layers, we can simulate them in a shallow network including only five or seven convolutional layers. The obfuscated models are even more efficient than the original models. Our obfuscation approach is very effective to protect the critical structure of a deep learning model from being exposed to attackers. Moreover, it can also thwart attackers from pirating the model with transfer learning or incremental learning techniques because the shallow simulation network bears poor learning ability. To our best knowledge, this paper serves as a first attempt to obfuscate deep learning models, which may shed light on more future studies.

연구 동기 및 목표

• 공격자가 잘 설계된, 학습에 비용이 많이 들는 CNN 아키텍처를 역공학하거나 도용하는 등의 증가하는 딥러닝 모델 침해 위협에 대응하기 위해.
• GoogLeNet, ResNet, DenseNet와 같은 최신 CNN에서 복잡한 특징 추출기의 구조적 무결성을 보호하기 위해.
• 정확도를 유지하면서 공격자에게 구조적 泄露를 최소화하는 오브스큐레이션 기법을 개발하기 위해.
• 오브스큐레이션된 모델의 미세조정 능력을 떨어뜨림으로써 전이학습 및 점진적 학습 공격에 대한 모델 보안을 향상시키기 위해.
• 구조적 오브스큐레이션을 도입함으로써 딥러닝 보안 분야에 새로운 패러다임을 제시하기 위해, 이 분야에서 처음으로 시도되는 접근법이다.

제안 방법

• 이 방법은 재귀적 시뮬레이션 프로세스를 활용한다: 먼저 개별 인셉션 블록을 시뮬레이션하고, 이후에 순차적으로 전체 시뮬레이션 특징 추출기를 반복적으로 시뮬레이션한다.
• 시뮬레이션 네트워크를 훈련하기 위해 중간 특징 맵과 최종 데이터 레이블을 모두 감독 신호로 활용하는 공동 훈련 방법을 사용한다.
• 시뮬레이션 네트워크는 오직 5~7층으로 구성된 얕고 순차적인 컨볼루션 블록이며, 구조적으로 단순하고 자연스럽게 미세조정에 취약한 특성을 지닌다.
• 지식 정착을 통해 원본 모델의 중간 활성화와 시뮬레이션 네트워크의 중간 활성화를 일치시켜, 기능적 동치성은 유지하면서도 구조적 유사성은 갖지 않도록 한다.
• 훈련 과정은 반복적으로 시뮬레이션 네트워크를 원본 모델의 모든 레이어의 행동을 따라잡도록 정교화하여 정확도를 유지한다.
• 오브스큐레이션된 모델는 독립형으로 배포되며, 원본 모델의 추론 출력을 모방하지만 내부 아키텍처를 숨긴다.

실험 결과

연구 질문

• RQ1 깊은 CNN의 복잡한 특징 추출기를 정확도 손실 없이 얕고 순차적인 컨볼루션 네트워크로 정확히 시뮬레이션할 수 있는가?
• RQ2 오브스큐레이션된 모델가 제한된 학습 능력으로 인해 전이학습 및 점진적 학습 공격에 여전히 저항력이 있는가?
• RQ3 재귀적 시뮬레이션과 공동 훈련 방법이 오브스큐레이션 과정에서 원본 모델의 기능적 행동을 어느 정도 유지하는가?
• RQ4 오브스큐레이션 기법이 원본 모델 아키텍처의 역공학을 방지하는 데 얼마나 효과적인가?
• RQ5 오브스큐레이션된 모델가 원본 모델보다 더 효율적이면서도 추론 속도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 오브스큐레이션된 모델는 CIFAR-100 및 STL-10 데이터셋에서 원본 모델과 동일한 추론 정확도를 달성하였으며, 정확도 저하가 측정되지 않았다.
• 오브스큐레이션된 모델는 더 적은 파라미터와 더 빠른 추론 속도 덕분에 원본 모델보다 더 효율적이었다.
• 오직 5~7층으로 구성된 시뮬레이션 네트워크가 GoogLeNet, ResNet-18, DenseNet-121와 같은 깊은 네트워크의 행동을 성공적으로 모방하였다.
• 미세조정 실험 결과, 오브스큐레이션된 모델는 뚜렷하게 떨어진 학습 능력을 보였으며, 점진적 학습을 통한 파rameter 도용에 저항성이 있음을 입증하였다.
• 전이학습 실험 결과, 오브스큐레이션된 모델는 새로운 작업에서 미세조정을 시도했을 때 성능이 떨어져, 전이학습을 통한 모델 도용에 저항됨을 확인하였다.
• 재귀적 시뮬레이션과 공동 훈련 접근법은 복잡한 아키텍처의 고정밀 기능 모방을 가능하게 하였고, 同時로 구조적 은폐성을 유지하였다.