[論文レビュー] Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks

Huiying Li, Shawn Shan+4 more|arXiv (Cornell University)|Jun 24, 2020

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

Blacklightは、確率的コンテンツフィンガープrintを用いて、反復最適化クエリ内の類似性を特定することで、クエリベースのブラックボックス攻撃をスケーラブルに検出する防御手法である。反復最適化クエリ内の類似性を活用することで、持続的攻撃者や高度な対策に対しても、最小限の偽陽性を伴いながら、ほぼ完璧な検出性能（大多数の攻撃で100％）を達成する。

ABSTRACT

Deep learning systems are known to be vulnerable to adversarial examples. In particular, query-based black-box attacks do not require knowledge of the deep learning model, but can compute adversarial examples over the network by submitting queries and inspecting returns. Recent work largely improves the efficiency of those attacks, demonstrating their practicality on today's ML-as-a-service platforms. We propose Blacklight, a new defense against query-based black-box adversarial attacks. The fundamental insight driving our design is that, to compute adversarial examples, these attacks perform iterative optimization over the network, producing image queries highly similar in the input space. Blacklight detects query-based black-box attacks by detecting highly similar queries, using an efficient similarity engine operating on probabilistic content fingerprints. We evaluate Blacklight against eight state-of-the-art attacks, across a variety of models and image classification tasks. Blacklight identifies them all, often after only a handful of queries. By rejecting all detected queries, Blacklight prevents any attack to complete, even when attackers persist to submit queries after account ban or query rejection. Blacklight is also robust against several powerful countermeasures, including an optimal black-box attack that approximates white-box attacks in efficiency. Finally, we illustrate how Blacklight generalizes to other domains like text classification.

研究の動機と目的

• MLaaSプラットフォームにおけるクエリベースのブラックボックス攻撃の増加する脅威に対処すること。この攻撃は、モデルへのアクセスなしに反復的クエリ最適化を用いて adversarial な例を生成する。
• 攻撃者がアカウントを切り替えるか、クエリ効率の高い高度な攻撃戦略を用いても、依然として有効である防御を設計すること。
• 反復的最適化中に生成されるクエリが極めて類似しているという事実を活用し、入力空間の類似性に基づいて adversarial クエリを検出すること。
• 適応的かつ理想化された攻撃バージョン（近いホワイトボックス効率を有するものも含む）に対しても、スケーラビリティと耐性を確保すること。
• 画像分類にとどまらず、テキスト分類などの他の分野への一般化を図ること。

提案手法

• Blacklightは、各入力クエリに対して安全で単方向のハッシュ関数を用いて、コン pact な確率的コンテンツフィンガープリントを生成し、意味的に類似した入力を重複するフィンガープリントを生成するように保証する。
• 受信クエリのフィンガープリントをキャッシュ済みの過去のフィンガープリント群と比較することで、重複率がしきい値を超えた場合に潜在的な adversarial クエリを検出する。
• アカウントに依存しない設計であり、入力の類似性のみに依存するため、攻撃者のアカウント変更に関係なく有効である。
• フィンガープリントの操作を試みる入力摂動攻撃を防ぐために、塩を用いた量子化とガイド付き変換を採用する。
• フィンガープリントキャッシュを定期的にリセットすることで、長期的な追跡を防ぐが、このリセットウィンドウは、一時停止・再開攻撃の時間的コストが非常に高いため、緩和される。
• 軽量かつスケーラブルに設計されており、生産環境のMLサービスでもリアルタイムで効率的に動作する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が複数のアカウントを使用しても、反復的最適化中に生成される極めて類似したクエリを特定することで、クエリベースのブラックボックス攻撃を検出できるか？
• RQ2 クエリ効率の高い高度な攻撃（成功に必要なクエリ数を削減）に対して、この防御はどの程度有効か？
• RQ3 完全な精度でホワイトボックス勾配情報に近似する理想化された攻撃に対しても、防御は耐性を保てるか？
• RQ4 システムのリセットメカニズムを狙ったエvasio攻撃に対して、防御はどの程度の性能を示すか？
• RQ5 この防御は、画像分類にとどまらず、テキスト分類などの非画像タスクにも一般化可能か？

主な発見

• Blacklightは、勾配推定や勾配フリー最適化を用いる8種類の最先端のクエリベースのブラックボックス攻撃に対し、100％の検出率を達成した。
• 平均して2クエリ目で攻撃を検出でき、最初の数クエリで99％の検出カバレッジを達成した。
• 最適なブラックボックス攻撃仮定下でも（攻撃者が勾配を完璧に推定できる状況）、CWベース攻撃は100％、PGDベース攻撃は81％を検出できた。
• 代替モデルを用いてクエリ数を削減するハイブリッド攻撃に対しても、検出は100％で、2クエリ目で99％のカバレッジを達成した。
• リセットウィンドウを狙った一時停止・再開攻撃は、平均して1,000日以上（約3年）を要するため、実用的ではない。
• 防御はテキスト分類タスクにも一般化可能であり、画像ベースのモデルにとどまらず、より広範な応用性を示した。