[論文レビュー] Systematic Attack Surface Reduction For Deployed Sentiment Analysis Models

Josh Kalin, David Noever+1 more|arXiv (Cornell University)|Jun 19, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用数 4

ひとこと要約

本論文は、展開済みのセンチメント分析モデルにおける攻撃表面の縮小を図る体系的フレームワークであるBAD（Build, Attack, and Defend）アーキテクチャを紹介する。ベースラインの確立、Jigsaw Toxic Biasデータセットを用いた脆弱性のプロービング、および標的的な防御の適用を通じて、生産環境における機械学習システムにおける敵対的脅威が、体系的かつ繰り返し可能な硬化手順によって検出可能かつ防止可能であることを示している。

ABSTRACT

This work proposes a structured approach to baselining a model, identifying attack vectors, and securing the machine learning models after deployment. This method for securing each model post deployment is called the BAD (Build, Attack, and Defend) Architecture. Two implementations of the BAD architecture are evaluated to quantify the adversarial life cycle for a black box Sentiment Analysis system. As a challenging diagnostic, the Jigsaw Toxic Bias dataset is selected as the baseline in our performance tool. Each implementation of the architecture will build a baseline performance report, attack a common weakness, and defend the incoming attack. As an important note: each attack surface demonstrated in this work is detectable and preventable. The goal is to demonstrate a viable methodology for securing a machine learning model in a production setting.

研究の動機と目的

• 展開済みの機械学習モデルに対する敵対的攻撃のリスクが増大する中、特にセンチメント分析のような実世界のNLPシステムにおけるリスクに対処すること。
• 展開後における攻撃ベクトルを同定・緩和するための繰り返し可能な体系的アプローチを開発すること。
• 生産環境における敵対的脆弱性が、体系的な硬化手順によって検出可能かつ防止可能であることを実証すること。
• Jigsaw Toxic Biasデータセットという実世界のベンチマークデータセットを用いて、提案フレームワークの有効性を評価すること。
• 初期トレーニングを過ぎた段階でも実用的かつ生産環境対応のフレームワークを提供すること。

提案手法

• BADアーキテクチャは、3段階に構成される：Build（パフォーマンスベースラインの確立）、Attack（脆弱性を体系的にプローブする）、Defend（モデルを強化するための対策を適用する）。
• アプローチは、敵対的条件下でのモデルの頑健性を評価するための診断ベンチマークとして、Jigsaw Toxic Biasデータセットを用いる。
• 攻撃ベクトルは、入力の摂動を加えた際のモデル挙動の分析を通じて同定され、実世界の敵対的例を模倣する。
• 防御機構は、同定された弱みに基づいて適用され、入力のクリーニングやモデルレベルの硬化技術が含まれる。
• フレームワークは、敵対的ライフサイクルと緩和戦略の有効性を測定するために、2つの異なる実装で評価される。
• パフォーマンスは、ベースラインレポート、攻撃成功確率、および防御後のレジリエンスメトリクスによって測定される。

実験結果

リサーチクエスチョン

• RQ1 展開済みのセンチメント分析モデルにおける攻撃表面を同定・縮小するための体系的かつ繰り返し可能なプロセスをどのように確立できるか？
• RQ2 実世界のデータ分布下におけるブラックボックス型センチメント分析システムにおいて、最も一般的で利用可能な脆弱性は何か？
• RQ3 体系的な防御メカニズムを用いることで、展開済みモデルに対する敵対的攻撃はどの程度検出可能かつ防止可能か？
• RQ4 BADアーキテクチャは、生産環境に近い設定において、異なる実装バリアントにおけるモデルのレジリエンスをどの程度向上させるか？
• RQ5 提案された手法は、センチメント分析を越えて、他のNLPモデルに対しても一般化可能か？

主な発見

• BADアーキテクチャは、体系的なプロービングと防御を通じて、展開済みのセンチメント分析モデルにおける複数の利用可能な攻撃ベクトルを効果的に同定・緩和した。
• Jigsaw Toxic Biasデータセットにおける敵対的攻撃は、提案された防御メカニズムを用いて一貫して検出可能かつ防止可能であった。
• 防御の導入後、両実装においてモデルの頑健性に測定可能な改善が見られ、攻撃成功確率が低下した。
• 本研究は、インスペクションが制限されたブラックボックスモデルに対しても、展開後における硬化が可能で効果的であることを確認した。
• 本アプローチは、生産環境におけるMLモデルのセキュリティを高めるための繰り返し可能で監査可能な手法を提供し、敵対的利用のリスクを低減した。
• 結果は、体系的な攻撃表面の縮小が、実世界の機械学習システムを保護する上で実行可能で必須な実践であることを裏付けた。