[論文レビュー] DeepObfuscation: Securing the Structure of Convolutional Neural Networks via Knowledge Distillation

Hui Xu, Yuxin Su+4 more|arXiv (Cornell University)|Jun 27, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 14

ひとこと要約

本稿では、知識蒸留を用いて深層畳み込みニューラルネットワーク（CNN）の深層特徴抽出器を浅い直列畳み込みブロックで模倣することで、構造的盗作からCNNを保護する新規手法DeepObfuscationを提案する。この手法は、逆設計が不可能になるように設計されており、精度を維持したまま、逆向きの微調整や転移学習攻撃に対しても耐性を持つ。

ABSTRACT

This paper investigates the piracy problem of deep learning models. Designing and training a well-performing model is generally expensive. However, when releasing them, attackers may reverse engineer the models and pirate their design. This paper, therefore, proposes deep learning obfuscation, aiming at obstructing attackers from pirating a deep learning model. In particular, we focus on obfuscating convolutional neural networks (CNN), a widely employed type of deep learning architectures for image recognition. Our approach obfuscates a CNN model eventually by simulating its feature extractor with a shallow and sequential convolutional block. To this end, we employ a recursive simulation method and a joint training method to train the simulation network. The joint training method leverages both the intermediate knowledge generated by a feature extractor and data labels to train a simulation network. In this way, we can obtain an obfuscated model without accuracy loss. We have verified the feasibility of our approach with three prevalent CNNs, i.e., GoogLeNet, ResNet, and DenseNet. Although these networks are very deep with tens or hundreds of layers, we can simulate them in a shallow network including only five or seven convolutional layers. The obfuscated models are even more efficient than the original models. Our obfuscation approach is very effective to protect the critical structure of a deep learning model from being exposed to attackers. Moreover, it can also thwart attackers from pirating the model with transfer learning or incremental learning techniques because the shallow simulation network bears poor learning ability. To our best knowledge, this paper serves as a first attempt to obfuscate deep learning models, which may shed light on more future studies.

研究の動機と目的

• 攻撃者が高価で訓練に時間がかかる優れた設計のCNNアーキテクチャを逆引きまたは盗難するという深刻な脅威に対処すること。
• GoogLeNet、ResNet、DenseNetのような最先端CNNにおける複雑な特徴抽出器を含む、深層学習モデルの構造的整合性を保護すること。
• 推論精度を維持しながら、攻撃者への構造的漏洩を最小限に抑えるオブスクリューション技術を開発すること。
• オブスクリューテッドモデルの微調整能力を低下させることで、転移学習および段階的学習攻撃に対するモデルのセキュリティを強化すること。
• 構造的オブスクリューションという、分野で初のアプローチを導入することで、深層学習セキュリティ分野における新しいパラダイムを確立すること。

提案手法

• 再帰的シミュレーションプロセスを採用：最初に個々のインセプションブロックをシミュレートし、次にそのシミュレート済み特徴抽出器全体を段階的に再帰的にシミュレートする。
• 中間特徴マップと最終的なデータラベルの両方を監視信号として用いて、シミュレーションネットワークを同時に学習させる手法を採用。
• シミュレーションネットワークは、5〜7層の浅い直列畳み込みブロックであり、構造的に単純で、微調整に不適であることが意図されている。
• 知識蒸留を適用し、元のモデルの中間活性化とシミュレーションネットワークの中間活性化を一致させることで、構造的類似性がなくても機能的同等性を確保する。
• 訓練プロセスは反復的にシミュレーションネットワークを最適化し、すべての層で元のモデルの挙動を再現することで、精度を保持する。
• オブスクリューテッドモデルは、元のモデルの推論出力を模倣するが、内部アーキテクチャを隠すことができる独立した効率的ネットワークとしてデプロイされる。

実験結果

リサーチクエスチョン

• RQ1 深層CNNの複雑な特徴抽出器が、精度損失なしに、浅い直列畳み込みネットワークによって正確にシミュレート可能か？
• RQ2 オブスクリューテッドモデルが学習能力が制限されているため、転移学習および段階的学習攻撃に対して耐性を示すか？
• RQ3 再帰的シミュレーションと共同学習手法が、オブスクリューション中に元のモデルの機能的挙動をどの程度正確に保持できるか？
• RQ4 オブスクリューションが、元のモデルのアーキテクチャの逆引きをどの程度効果的に防げるか？
• RQ5 オブスクリューテッドモデルが元のモデルよりも効率的であり、推論速度を維持または向上させられるか？

主な発見

• CIFAR-100およびSTL-10データセットにおいて、オブスクリューテッドモデルは元のモデルと同一の推論精度を達成しており、測定可能な精度損失は認められなかった。
• オブスクリューテッドモデルは、浅いアーキテクチャのおかげで、パrameter数が少なく、推論が速く、元のモデルよりも効率的であった。
• 5〜7層のシミュレーションネットワークが、GoogLeNet、ResNet-18、DenseNet-121のような深層ネットワークの挙動を効果的に模倣した。
• 微調整実験の結果、オブスクリューテッドモデルの学習能力が著しく低下しており、段階的学習によるパrameter盗難に対して耐性があることが示された。
• 転移学習実験では、新しいタスクで微調整された際の性能が著しく劣っており、転移学習によるモデル盗難に対しても抵抗性があることが確認された。
• 再帰的シミュレーションと共同学習アプローチにより、複雑なアーキテクチャの高精度な機能的模倣が可能であり、構造的不透明性が保持された。