[論文レビュー] Preprocessors Matter! Realistic Decision-Based Attacks on Machine Learning Systems

Chawin Sitawarin, Florian Tramèr+1 more|arXiv (Cornell University)|Oct 7, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、標準的な意思決定ベースのブラックボックス攻撃が、実世界の機械学習パイプラインにおける一般的な前処理部品によって著しく制限されることを示している。これにより、摂動ノルムが最大7倍にまで増加する。これを克服するために、著者らは二段階の攻撃を提案する。まず、数100回のクエリで前処理部品を抽出し、次にその前処理を認識した攻撃を実行することで、元の効果を回復させ、スタンドアロンモデルと同等の性能を達成する。

ABSTRACT

Decision-based attacks construct adversarial examples against a machine learning (ML) model by making only hard-label queries. These attacks have mainly been applied directly to standalone neural networks. However, in practice, ML models are just one component of a larger learning system. We find that by adding a single preprocessor in front of a classifier, state-of-the-art query-based attacks are up to 7$ imes$ less effective at attacking a prediction pipeline than at attacking the model alone. We explain this discrepancy by the fact that most preprocessors introduce some notion of invariance to the input space. Hence, attacks that are unaware of this invariance inevitably waste a large number of queries to re-discover or overcome it. We, therefore, develop techniques to (i) reverse-engineer the preprocessor and then (ii) use this extracted information to attack the end-to-end system. Our preprocessors extraction method requires only a few hundred queries, and our preprocessor-aware attacks recover the same efficacy as when attacking the model alone. The code can be found at https://github.com/google-research/preprocessor-aware-black-box-attack.

研究の動機と目的

• 実世界の機械学習システムにおける意思決定ベースのブラックボックス攻撃の有効性に及ぼす前処理の影響を調査すること。
• エンドツーエンドのシステムに前処理部品が含まれる場合、標準的な攻撃がなぜ失敗するのかを特定すること。
• 数100回のクエリのみを用いて未知の前処理部品を効率的に抽出する手法を開発すること。
• 未知の前処理部品を認識した攻撃を設計し、それらのシステムにおいて完全な攻撃効果を回復させること。
• 前処理抽出が攻撃成功に与える影響が、ハイパーパramータチューニングよりも重要であることを実証すること。

提案手法

• 多様な入力に対してシステムをクエリし、入力出力挙動を分析することで、前処理部品を逆引きして同定する。
• ブラックボックス意思決定クエリに適応したモデル抽出技術（Tramèr et al., 2016）を用い、前処理の機能を推定する。
• ターゲットシステムの入力変換を模倣するサーヴィレート前処理部品を構築する。
• 意思決定ベースの攻撃（例：HSJA, QEBA）を変更し、前処理済みの入力空間で動作させ、再び不変性を再発見する無駄なクエリを回避する。
• 前処理の変換に対して耐性を持つ adversarial 例へと探索を誘導するため、バイアス付き勾配戦略を適用する。
• 複数の adversarial 例にわたり前処理抽出のコストを均等化することで、効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 リサイズ、量子化、JPEG圧縮などの一般的な前処理が、意思決定ベースのブラックボックス攻撃の成功率にどのように影響を与えるか？
• RQ2 エンドツーエンドのシステムに前処理部品が含まれる場合、なぜ標準的な意思決定ベースの攻撃が低い摂動ノルムを達成できないのか？
• RQ3 ブラックボックスシステムの前処理部品を少数のクエリで逆引きできるか？
• RQ4 前処理認識攻撃は、スタンドアロンモデルに対する攻撃と同等の性能を回復できるか？
• RQ5 攻撃成功率の向上において、前処理抽出がハイパーパramータチューニングよりも効果的か？

主な発見

• 標準的な意思決定ベースの攻撃では、スタンドアロンモデルと比較して、前処理を含むシステムを攻撃する際、平均 ℓ₂ 歪みが7倍に増加する。
• 広範なハイパーパramータチューニングとクエリ予算の増加にもかかわらず、前処理を無視した攻撃は性能の差を埋めることができない。
• 提案された前処理抽出手法は、リサイズやJPEG圧縮といった一般的な前処理を、数100回のクエリで正確に逆引きできる。
• 前処理認識攻撃は、スタンドアロンモデル上で実行した攻撃と区別できない摂動ノルムを達成し、完全な攻撃効果を効果的に回復する。
• バイアス付き勾配攻撃は、すべての無知攻撃を上回り、最良の状況（JPEG品質60、非ターゲットHSJA）で平均歪みを最大15倍まで低減する。
• 前処理認識攻撃による改善は、クエリ予算にかかわらず一貫しており、500クエリでも平均歪みが4.5〜4.8倍まで低減される。