[论文解读] Modular Learning Component Attacks: Today's Reality, Tomorrow's Challenge

Xinyang Zhang, Yujie Ji+1 more|arXiv (Cornell University)|Aug 25, 2017

Advanced Malware Detection Techniques参考文献 21被引用 3

一句话总结

本文提出模块化学习组件（MLC）攻击——具体为逻辑炸弹攻击——即通过恶意修改MLC，在特定条件下导致机器学习系统可预测地失效。通过仅修改小于0.33%的参数，且单个参数扰动低于10⁻³，攻击者即可在医疗机器学习系统中实现100%的误诊成功率，利用现代模型固有的高维性与非凸性。

ABSTRACT

Many of today's machine learning (ML) systems are not built from scratch, but are compositions of an array of {\em modular learning components} (MLCs). The increasing use of MLCs significantly simplifies the ML system development cycles. However, as most MLCs are contributed and maintained by third parties, their lack of standardization and regulation entails profound security implications. In this paper, for the first time, we demonstrate that potentially harmful MLCs pose immense threats to the security of ML systems. We present a broad class of {\em logic-bomb} attacks in which maliciously crafted MLCs trigger host systems to malfunction in a predictable manner. By empirically studying two state-of-the-art ML systems in the healthcare domain, we explore the feasibility of such attacks. For example, we show that, without prior knowledge about the host ML system, by modifying only 3.3{ extperthousand} of the MLC's parameters, each with distortion below $10^{-3}$, the adversary is able to force the misdiagnosis of target victims' skin cancers with 100\% success rate. We provide analytical justification for the success of such attacks, which points to the fundamental characteristics of today's ML models: high dimensionality, non-linearity, and non-convexity. The issue thus seems fundamental to many ML systems. We further discuss potential countermeasures to mitigate MLC-based attacks and their potential technical challenges.

研究动机与目标

• 调查第三方模块化学习组件（MLCs）对机器学习系统带来的安全风险。
• 证明恶意构造的MLCs可通过逻辑炸弹攻击触发可预测的系统故障。
• 分析此类攻击在真实世界医疗机器学习系统中的可行性和隐蔽性。
• 基于机器学习模型的基本属性，提供MLC攻击成功性的理论依据。
• 探索潜在的防御措施及其面临的技术挑战。

提出的方法

• 作者通过微妙修改预训练MLC（如词嵌入和深度神经网络）中的参数，实施逻辑炸弹攻击。
• 他们将恶意行为注入MLC中，使得在特定输入触发时，宿主机器学习系统以100%的成功率错误分类。
• 修改程度极小——参数修改比例低于3.3‰，且单个参数变化幅度低于10⁻³。
• 攻击设计具备规避性：良性与恶意MLC在性能上几乎无法区分，非目标输入上的性能差异小于2.5%。
• 该方法仅需有限访问（如<22%的训练数据）宿主系统数据，无需事先知晓系统架构。
• 理论分析表明，攻击的成功归因于现代机器学习模型的高维性、非线性和非凸性。

实验结果

研究问题

• RQ1 能否利用恶意修改的模块化学习组件（MLCs）触发机器学习系统的可预测性故障？
• RQ2 此类攻击在参数修改量和对非目标输入性能影响方面，隐蔽性如何？
• RQ3 攻击者需要多大程度的训练数据访问权限，才能成功构造此类攻击？
• RQ4 为何即使MLC参数仅作微小改动，此类攻击仍能有效？
• RQ5 潜在的防御措施有哪些？它们面临哪些技术挑战？

主要发现

• 作者仅通过在神经网络MLC中修改0.33‰的参数，便成功在皮肤癌筛查系统中触发100%的误诊。
• 相同攻击在疾病早期预测系统中也实现了100%的成功率，表明其在医疗机器学习系统中具有广泛适用性。
• 恶意MLC与良性MLC的参数差异小于0.33‰，且每次修改均低于10⁻³，使其具备高度隐蔽性。
• MLC在非目标输入上的性能差异小于2.5%，表明其具备优异的泛化能力与隐蔽性。
• 攻击者仅需访问宿主系统训练数据的22%以下，而此类数据通常公开可得。
• 理论分析证实，现代机器学习模型的高维性、非线性和非凸性是此类攻击可行性的根本原因。