[论文解读] Learning to Reverse DNNs from AI Programs Automatically

Simin Chen, Hamed Khanpour+2 more|arXiv (Cornell University)|May 20, 2022

Advanced Malware Detection Techniques被引用 6

一句话总结

NNReverse 是一种基于学习的方法，通过从边缘设备上的编译AI程序中逆向分析二进制代码来自动还原深度神经网络（DNN）。它利用细粒度嵌入模型，结合语法和拓扑语义，实现高精度的函数相似性搜索，从而在真实模型（如 ResNet-18 和 VGG-19）上实现无精度损失的完整 DNN 重建。

ABSTRACT

With the privatization deployment of DNNs on edge devices, the security of on-device DNNs has raised significant concern. To quantify the model leakage risk of on-device DNNs automatically, we propose NNReverse, the first learning-based method which can reverse DNNs from AI programs without domain knowledge. NNReverse trains a representation model to represent the semantics of binary code for DNN layers. By searching the most similar function in our database, NNReverse infers the layer type of a given function's binary code. To represent assembly instructions semantics precisely, NNReverse proposes a more fine-grained embedding model to represent the textual and structural-semantic of assembly functions.

研究动机与目标

• 为应对在设备端 DNN 部署中日益增长的模型泄露风险，其中编译后的模型易受逆向工程攻击。
• 自动化从二进制代码中逆向工程 DNN，无需人工分析或领域专业知识。
• 开发一种能够捕捉多种硬件平台下汇编函数文本与结构语义的表示模型。
• 通过将二进制函数映射到已知层类型，实现对 DNN 架构的高精度、自动化重建。
• 发布首个公开的 80k 个去编译 DNN 函数数据集，涵盖四种硬件平台，以支持未来在设备端 DNN 安全领域的研究。

提出的方法

• NNReverse 采用两阶段方法：离线阶段用于构建去编译 DNN 内核函数的数据库并训练语义表示模型；在线阶段用于逆向工程未知 DNN。
• 提出一种新颖的细粒度嵌入模型，联合编码汇编指令的文本语义与控制流图（CFG）的拓扑结构。
• 该嵌入模型结合词级别表示（如使用 Skip-gram 或 CBOW）与基于图的结构编码，以提升语义保真度。
• 通过学习到的嵌入计算函数相似性，搜索数据库以找到语义最相似的已知函数，从而实现层类型推断。
• 该方法使用在多种硬件平台（如 Android、Intel、ARM、AArch64）上训练的表示模型，支持跨平台 DNN 逆向工程。
• 重建阶段利用推断出的层类型和参数，以最小精度损失重建完整的 DNN 架构。

实验结果

研究问题

• RQ1 基于学习的方法能否在无需领域专业知识或人工逆向工程的情况下，自动从编译后的 AI 程序中逆向 DNN？
• RQ2 结合语法与拓扑语义的细粒度嵌入模型，在捕捉不同硬件平台上汇编函数功能语义方面效果如何？
• RQ3 所提方法在多大程度上能以高保真度重建 DNN 架构，其精度损失与原始模型相比如何？
• RQ4 表示模型的性能对超参数（如嵌入维度和上下文长度）的敏感度如何？
• RQ5 所提嵌入技术能否降低低级代码表示中常见的词汇外（OOV）问题？

主要发现

• 在所有硬件平台上，NNReverse 在二进制函数映射任务中的 F1 分数显著高于基线方法（如 word2vec、doc2vec 和 asm2vec）。
• 该方法成功实现了对真实世界 DNN 的无精度损失重建，包括 LeNet-5、ResNet-18、VGG-11 和 WideResNet-50，经输入输出对比验证。
• 模型在嵌入维度（100–300）和上下文长度（3–7）变化时保持稳定性能，表明对超参数设置不敏感。
• 在 30 个案例中的 20 个，结合文本与拓扑嵌入能提升函数相似性准确率，证明结构信息具有互补价值。
• 细粒度嵌入模型相比将每条指令视为独立词汇，显著降低了 OOV 比例，尤其在 Intel 和 ARM 平台上效果更明显。
• 消融实验表明，仅使用拓扑嵌入的性能较差，而文本与结构联合嵌入效果最佳，验证了设计选择的有效性。