[論文レビュー] Detection and Recovery Against Deep Neural Network Fault Injection Attacks Based on Contrastive Learning

Chenan Wang, Pu Zhao+2 more|arXiv (Cornell University)|Jan 30, 2024

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文は CFDR を提案する。対照学習ベースのリアルタイム FIA 検出フレームワークで、ラベルなしの単一バッチを用い、限られたデータで精度を向上させる回復メカニズムを備える。

ABSTRACT

Deep Neural Network (DNN) models when implemented on executing devices as the inference engines are susceptible to Fault Injection Attacks (FIAs) that manipulate model parameters to disrupt inference execution with disastrous performance. This work introduces Contrastive Learning (CL) of visual representations i.e., a self-supervised learning approach into the deep learning training and inference pipeline to implement DNN inference engines with self-resilience under FIAs. Our proposed CL based FIA Detection and Recovery (CFDR) framework features (i) real-time detection with only a single batch of testing data and (ii) fast recovery effective even with only a small amount of unlabeled testing data. Evaluated with the CIFAR-10 dataset on multiple types of FIAs, our CFDR shows promising detection and recovery effectiveness.

研究の動機と目的

• DNN 推論エンジンが Fault Injection Attacks (FIAs) によってパラメータを変更される脆弱性に対する耐性を動機付ける。
• ラベル付きデータなしで FIA 検出を実現する自己耐性アプローチとして Contrastive Learning (CL) を提案する。
• 限られたラベル付きまたはラベルなしデータで精度を回復する回復メカニズムを開発する。
• 複数の FIA タイプ下で ResNet-18 を用いた CIFAR-10 で有効性を示す。

提案手法

• SimCLR スタイルの対照学習を採用し、ベースエンコーダ、投影ヘッド、対照学習損失を用いて DNN を訓練する。
• 対照学習損失を、クリーンモデルからの基準損失と比較することで検出信号として用い、ラベルなしデータでのリアルタイム FIA 検出を実現する。
• 検出フラグが FIA を示した場合、回復処理を開始する。回復にはラベル付きデータ（完全な二段階訓練）またはラベルなしデータ（フェーズ (a) のみ）を用いる。
• 過適合を避けるために、基準損失、損失の非増加、または最大エポック数の上限に基づく回復の停止基準を適用する。
• PBS、FSA (l0 および l2)、および GDA 攻撃下で CIFAR-10 を用いて検出および回復を評価する。

実験結果

リサーチクエスチョン

• RQ1 対照学習損失は DNN に対する Fault Injection Attacks をリアルタイムでラベルなし検出器として機能できるか。
• RQ2 少量のラベル付きまたはラベルなしデータのみを用いて attacked DNN の性能を効率的に回復できるか。
• RQ3 CFDR は異なる FIA および変動する撹乱パラメータ数に対してどう機能するか。
• RQ4 多くのパラメータが攪乱された場合の回復の実践的限界はどこにあるか。

主な発見

Attack	total # of param. in the attacked layer(s)	after attack acc.	unlabeled recovery acc.	epochs	labeled recovery acc.	epochs
PBS	36864	10.00	88.71	6	88.89	7
PBS	155648	10.16	87.72	15	87.64	22
PBS	294612	13.25	87.36	15	87.34	5
PBS	589824	10.00	80.34	12	81.05	5
FSA l0	9408	12.57	85.15	30	85.57	9
FSA l0	36992	10.07	88.09	20	88.11	15
FSA l0	147712	10.47	87.68	24	88.22	7
FSA l0	295424	14.43	79.63	18	80.82	5
FSA l0	590336	17.03	65.84	15	68.52	10
FSA l0	1180672	11.86	33.45	21	40.41	10
FSA l2	9408	11.17	85.23	30	85.65	9
FSA l2	36992	13.60	88.50	10	88.41	3
FSA l2	147712	11.04	87.53	22	87.93	5
FSA l2	295424	15.22	83.70	11	84.19	5
FSA l2	590336	10.95	70.57	20	72.37	5
FSA l2	1180672	12.84	28.42	19	35.07	15
GDA	9408	46.79	82.77	30	82.93	9
GDA	36992	83.42	88.08	9	88.33	9
GDA	147712	84.72	87.62	9	87.87	24
GDA	295424	55.89	80.41	17	80.86	9
GDA	590336	58.69	79.38	27	79.92	10
GDA	1180672	25.41	32.79	30	45.36	30

• CFDR はラベルなしデータの単一バッチに対してクリーンモデルと攻撃モデルの間の対照損失を用いた明確な分離を実現する。
• ラベル付きデータによる回復は、 moderately perturbed モデル（例: CIFAR-10 の ResNet-18 で約 87% 程度）の攻撃前のレベルに近い精度を回復できる。
• ラベルなしデータによる回復も精度を改善するが、多くのパラメータが撹乱されている場合には制限される。
• より大きなパラメータ撹乱を伴う攻撃シナリオ（例: 1,180,672 パラメータ）では、特に GDA および高撹乱ケースで回復性が低下する。
• 検出は PBS、FSA-l0、FSA-l2、GDA 攻撃全体で FIA の明確な兆候を示し、攻撃規模に応じた損失分離が観察される。
• このフレームワークは通常の推論を妨げず、効果的な回復には少量のデータのみを必要とする。