[論文レビュー] Modular Learning Component Attacks: Today's Reality, Tomorrow's Challenge

Xinyang Zhang, Yujie Ji+1 more|arXiv (Cornell University)|Aug 25, 2017

Advanced Malware Detection Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、悪意ある修正を施されたモジュラー学習コンponent（MLC）が、特定の条件下で予測可能な方法で機械学習（ML）システムを失敗させる、論理爆弾攻撃を含むモジュラー学習コンponent（MLC）攻撃を紹介する。現代のモデルに内在する高次元性と非凸性を活用し、10⁻³未満の歪みで0.33%未塔のパラメータを変更するだけで、医療分野のMLシステムで100%の誤診断成功率を達成する。

ABSTRACT

Many of today's machine learning (ML) systems are not built from scratch, but are compositions of an array of {\em modular learning components} (MLCs). The increasing use of MLCs significantly simplifies the ML system development cycles. However, as most MLCs are contributed and maintained by third parties, their lack of standardization and regulation entails profound security implications. In this paper, for the first time, we demonstrate that potentially harmful MLCs pose immense threats to the security of ML systems. We present a broad class of {\em logic-bomb} attacks in which maliciously crafted MLCs trigger host systems to malfunction in a predictable manner. By empirically studying two state-of-the-art ML systems in the healthcare domain, we explore the feasibility of such attacks. For example, we show that, without prior knowledge about the host ML system, by modifying only 3.3{ extperthousand} of the MLC's parameters, each with distortion below $10^{-3}$, the adversary is able to force the misdiagnosis of target victims' skin cancers with 100\% success rate. We provide analytical justification for the success of such attacks, which points to the fundamental characteristics of today's ML models: high dimensionality, non-linearity, and non-convexity. The issue thus seems fundamental to many ML systems. We further discuss potential countermeasures to mitigate MLC-based attacks and their potential technical challenges.

研究の動機と目的

• 第三者的なモジュラー学習コンponent（MLC）が機械学習システムに及ぼすセキュリティリスクを調査すること。
• 悪意ある方法で作成されたMLCが、論理爆弾攻撃を通じて予測可能なシステム障害を引き起こせることを示すこと。
• このような攻撃が実世界の医療MLシステムにおいて実現可能で、どれほど隠蔽可能であるかを分析すること。
• 根本的なMLモデルの性質に基づいて、MLCベースの攻撃がなぜ成功するのかを分析的根拠を提示すること。
• 対策手法の可能性とその技術的課題を検討すること。

提案手法

• 著者らは、単語埋め込みや深層ニューラルネットワークなどの事前学習済みMLCのパラメータをわずかに変更することで、論理爆弾攻撃を実装した。
• 特定の入力によってトリガーされるように、MLCに悪意ある挙動を埋め込み、ホストMLシステムが100%の成功率で誤分類するようにした。
• 変更は極めて限定的であり、パラメータの3.3‰未塔が変更されており、個々の変更量は10⁻³未塔である。
• 攻撃は回避性を備えている：悪意あるMLCと良性MLCは、非標的入力における性能差が2.5%未塔であり、ほとんど区別がつかない。
• 攻撃にはホストシステムの訓練データの限定的アクセス（例：訓練データの22%未塔）が必要であり、システムアーキテクチャの事前知識は不要である。
• 理論的分析により、攻撃の成功は現代のMLモデルに内在する高次元性、非線形性、非凸性に起因するとされた。

実験結果

リサーチクエスチョン

• RQ1 悪意ある修正を施されたモジュラー学習コンponent（MLC）は、機械学習システムにおいて予測可能な障害を引き起こすことができるか？
• RQ2 このような攻撃は、パラメータ変更量と非標的入力における性能への影響の観点から、どれほど隠蔽可能か？
• RQ3 攻撃者がこのような攻撃を成功させるために必要な訓練データへのアクセスレベルはどの程度か？
• RQ4 MLCパラメータへの微小な変更にもかかわらず、なぜこのような攻撃が効果的なのか？
• RQ5 潜在的な対策は何か。それらにはどのような技術的課題があるか？

主な発見

• 著者らは、ニューラルネットワークMLCの3.3‰未塔のパラメータ変更のみで、皮膚がんスクリーニングシステムにおいて100%の誤診断を引き起こすことに成功した。
• 同じ攻撃は、疾患の早期予後予測システムでも100%の成功率を達成し、医療MLシステム全体への広範な適用可能性を示した。
• 悪意あるMLCは良性MLCと比較して、3.3‰未塔のパラメータが異なり、各変更は10⁻³未塔であるため、非常に高い回避性を示した。
• 非標的入力におけるMLCの性能差は2.5%未塔であり、強力な一般化能力と隠蔽性を示した。
• 攻撃者はホストシステムの訓練データの22%未塔のアクセスがあれば十分であり、これはしばしば公開済みのデータである。
• 理論的分析により、現代のMLモデルの高次元性、非線形性、非凸性が、このような攻撃の実現可能性の根拠であると確認された。