[論文レビュー] DeepPeep: Exploiting Design Ramifications to Decipher the Architecture of Compact DNNs

Nandan Kumar Jha, Sparsh Mittal+2 more|arXiv (Cornell University)|Jul 30, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

DeepPeepは、深度分離可学習畳み込みやチャネルシャッフルといった特徴的な設計要因を活用して、コンパクトな深層ニューラルネットワーク（DNN）のアーキテクチャを逆算する2段階のサイドチャネル攻撃を提案する。この手法は、パフォーマンストレースとcuBLASカーネル解析のみを用いて、DNNの基本モジュールを高い正確性で再構築可能であり、P100およびP4000 GPU上で効果的なIP盗難を実現している。また、60%の低遅延と2%の高い正確性を実現するセキュアなMobileNet-V1の変種も提案している。

ABSTRACT

The remarkable predictive performance of deep neural networks (DNNs) has led to their adoption in service domains of unprecedented scale and scope. However, the widespread adoption and growing commercialization of DNNs have underscored the importance of intellectual property (IP) protection. Devising techniques to ensure IP protection has become necessary due to the increasing trend of outsourcing the DNN computations on the untrusted accelerators in cloud-based services. The design methodologies and hyper-parameters of DNNs are crucial information, and leaking them may cause massive economic loss to the organization. Furthermore, the knowledge of DNN's architecture can increase the success probability of an adversarial attack where an adversary perturbs the inputs and alter the prediction. In this work, we devise a two-stage attack methodology "DeepPeep" which exploits the distinctive characteristics of design methodologies to reverse-engineer the architecture of building blocks in compact DNNs. We show the efficacy of "DeepPeep" on P100 and P4000 GPUs. Additionally, we propose intelligent design maneuvering strategies for thwarting IP theft through the DeepPeep attack and proposed "Secure MobileNet-V1". Interestingly, compared to vanilla MobileNet-V1, secure MobileNet-V1 provides a significant reduction in inference latency ($\approx$60%) and improvement in predictive performance ($\approx$2%) with very-low memory and computation overheads.

研究の動機と目的

• コンパクトなDNN設計手法が、パフォーマンスおよびメモリアクセスパターンを漏洩させるサイドチャネル攻撃に対してどれほど脆弱であるかを調査すること。
• パフォーマンスサイドチャネルとcuBLASカーネル解析を用いて、特権アクセスを必要としない軽量で非侵襲的な攻撃手法を構築し、DNNの基本モジュールを再構築すること。
• 情報漏洩を防ぐが、推論効率性や正確性を維持または向上させる設計ガイドラインを提言すること。
• MobileNet、DenseNet、ShuffleNetの変種のような複雑で実世界のDNNにおいて、アーキテクチャの逆算が可能かどうかを実証すること。
• DeepPeep風の攻撃に耐性を持つが、顕著な計算またはメモリオーバーヘッドを伴わないセキュアなDNNの変種を設計すること。

提案手法

• 攻撃は2段階の手法を採用する。まず、GPU実行トレースを解析してcuBLASカーネル呼び出しパターンとメモリアクセス特性を抽出する。
• 次に、これらのサイドチャネル信号を、深度分離可学習畳み込み（DWConv）、チャネルシャッフル、および密接続といった既知のアーキテクチャ特徴と相関付ける。
• 各DNNコンponentの固有の計算およびメモリアクセスパターンを活用して、レイヤーの種別、フィルターサイズ、接続パターンを推定する。
• 関係的推論技術を用いてレイヤー間の構造的依存関係をモデル化し、アーキテクチャ再構築をグラフ構造の推論問題として扱う。
• このアプローチは、ハードウェアやソフトウェアに対する特権アクセスを一切必要とせず、観測可能なパフォーマンストレースとカーネルレベルの挙動に依存する。
• セキュアなDNN設計ガイドラインは攻撃の洞察から導出され、性能コストを著しく増加させることなく、サイドチャネル漏洩を妨げる微細なアーキテクチャの難読化を導入する。

実験結果

リサーチクエスチョン

• RQ1 DWConv、チャネルシャッフル、および密接続を用いるコンパクトなDNN設計手法は、パフォーマンスおよびメモリアクセスパターンを漏洩させるサイドチャネル攻撃に対してどれほど脆弱であるか？
• RQ2 特権アクセスなしで、DNNのアーキテクチャ的モジュールを再構築するために、最小限のサイドチャネル情報としてどの程度の情報が必要か？
• RQ3 MobileNet、ShuffleNet、DenseNetを含む多様なコンパクトなDNNアーキテクチャに一般化可能な逆算フレームワークを構築可能か？
• RQ4 アーキテクチャ難読化技術は、推論効率性および正確性を維持しつつ、どの程度までサイドチャネル漏洩を防止できるか？
• RQ5 高い計算またはメモリオーバーヘッドを伴わず、アーキテクチャの逆算に耐性を持つセキュアなDNN変種を設計可能か？

主な発見

• DeepPeepは、P100およびP4000 GPUからのサイドチャネルトレースのみを用いて、MobileNet-V1、ShuffleNet、DenseNetの変種のアーキテクチャを成功裏に逆算した。
• cuBLASカーネル呼び出しとメモリアクセスパターンの分析により、レイヤーの種別、フィルターサイズ、接続パターンの特定において高い正確性を達成した。
• 提案されたセキュアなMobileNet-V1変種は、元のバージョンと比較して推論遅延を約60%低減し、予測正確性を約2%向上させた。
• このセキュアなMobileNet-V1は、最小限の追加メモリおよび計算オーバーヘッドでこれらの利点を達成しており、IP保護と性能最適化が両立可能であることを示している。
• 深度分離可学習畳み込みやチャネルシャッフルといった設計要素は、その特徴的で繰り返し可能なパフォーマンスフットプリントのため、特に脆弱であった。
• 本研究では、軽量で効率的なDNNですら、サイドチャネル解析を介したアーキテクチャ的IP盗難の対象となり得ることを明らかにした。これは、クラウドベースのDNN推論における深刻なセキュリティギャップを示している。