[論文レビュー] Machine Learning Security in Industry: A Quantitative Survey

Kathrin Grosse, Lukas Bieringer+3 more|arXiv (Cornell University)|Jul 11, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

139名の産業界における機械学習研究者を対象に実施した定量的調査により、悪意ある機械学習攻撃（特に回避攻撃と汚染攻撃）が現実世界で発生していることが明らかになった。ただし、こうした脅威に対する露出は限定的である。研究では、脅威認識が機械学習セキュリティ分野における先行知識に強く影響を受ける一方で、組織の規模や応用分野とは無関係に、リスク認識やAI成熟度と関連していることが判明した。

ABSTRACT

Despite the large body of academic work on machine learning security, little is known about the occurrence of attacks on machine learning systems in the wild. In this paper, we report on a quantitative study with 139 industrial practitioners. We analyze attack occurrence and concern and evaluate statistical hypotheses on factors influencing threat perception and exposure. Our results shed light on real-world attacks on deployed machine learning. On the organizational level, while we find no predictors for threat exposure in our sample, the amount of implement defenses depends on exposure to threats or expected likelihood to become a target. We also provide a detailed analysis of practitioners' replies on the relevance of individual machine learning attacks, unveiling complex concerns like unreliable decision making, business information leakage, and bias introduction into models. Finally, we find that on the individual level, prior knowledge about machine learning security influences threat perception. Our work paves the way for more research about adversarial machine learning in practice, but yields also insights for regulation and auditing.

研究の動機と目的

• 産業界における悪意ある機械学習（AML）攻撃の実態と認識の状況を調査すること。
• AML攻撃への露出、防御対策、関心に影響を与える組織的および個人的要因を特定すること。
• 研究者が特定のAML攻撃を関連性があるとみなすか、ないかと判断する理由（倫理的要因、財務的要因、導入に伴う制約など）を分析すること。
• 先行知識や性別がAML攻撃に対する脅威認識にどのように影響を与えるかを検討すること。
• MLシステムにおけるセキュリティとセーフティの境界を明確にすることで、規制、監査、今後の研究を支援すること。

提案手法

• 多様な分野にまたがる139名の産業界における機械学習研究者を対象に、匿名で大規模な定量的アンケート調査を実施した。
• 先行する産業界のランキングで特定された6つの主要なAML脅威（回避攻撃、汚染攻撃、モデル盗難、データ漏洩、メンバー推定攻撃、モデル逆転攻撃）に焦点を当てた。
• 脅威への露出、防御対策、攻撃の関連性の認識、先行知識、性別を含むデモグラフィック要因を収集した。
• 組織の規模、MLの導入期間、データ種別、AI成熟度などの変数間の関係を統計的仮説検定を用いて分析した。
• 開かれた質問への回答を分析し、攻撃の関連性や無関係性の背後にある要因（財務的損失、倫理的懸念、導入の現実性など）を特定した。
• 応用分野、データの機密性、組織構造などの交絡要因を制御することで、脅威認識や防御実装の主な予測要因を特定した。

実験結果

リサーチクエスチョン

• RQ1 産業界における悪意ある機械学習攻撃の実際の発生頻度はどの程度で、どの攻撃タイプが最も一般的に観察されているか？
• RQ2 組織的要因（例：規模、分野、MLの本番導入期間）は、AML脅威への露出や防御策の実装を予測できるか？
• RQ3 AML分野における先行知識や性別といった個人的要因が、研究者の脅威認識の関連性にどのように影響を与えるか？
• RQ4 研究者が特定のAML攻撃を関連性があるとみなすか、ないかと判断する主な理由は何か。また、応用分野固有の制約はこの認識にどのように影響を与えるか？
• RQ5 産業界のMLシステムにおいて、セキュリティとセーフティの懸念がどの程度混同されているか。また、この混同はリスク評価にどのように影響を与えるか？

主な発見

• 回避攻撃と汚染攻撃は実際の現場で発生していることが報告されており、実際の導入期間が2〜3年にもわたっている。これはAMLが「未来の脅威」としての認識とは対照的である。
• 組織的要因（規模、業界分野、本番でのML使用期間など）に関しては、脅威への露出を有意に予測する要因は得られなかった。
• 導入された防御対策の数は、脅威への露出、攻撃の可能性の予想、AI成熟度によって有意に予測されたが、組織の規模や分野とは関係がなかった。
• AML攻撃に対する研究者の懸念は、悪意ある機械学習分野における先行知識に強く影響を受けており、知識が深いほど脅威への懸念が高まる傾向が見られた。
• 5つのAML攻撃のうち2つが女性から著しく重要性が低いと評価された。これは、性別による脅威認識の差異を示しており、応用分野との関連が考えられる。
• セキュリティとセーフティの混同が顕著に観察された。研究者たちは、バグによるシステム障害（セーフティ）と悪意ある操作による障害（セキュリティ）を区別できていなかったため、リスク評価が複雑化していた。