[論文レビュー] Poisoned classifiers are not only backdoored, they are fundamentally broken
本稿では、元のトリガーおよび学習データにアクセスできない状況下でも、汚染された分類器に対して効果的な代替バックドアトリガーを生成する人間を含むループ攻撃を提案する。ドネイズドスムージングを用いて堅牢化された分類器を作成し、その adversarial な例から知覚的に意味のあるパターンを抽出することで、元のバックドアを上回る攻撃成功率を達成する新たなトリガーを発見した。この結果、モデルへのアクセスが可能な第三者による攻撃に対して、汚染されたモデルは根本的に脆弱であることが示された。
Under a commonly-studied backdoor poisoning attack against classification models, an attacker adds a small trigger to a subset of the training data, such that the presence of this trigger at test time causes the classifier to always predict some target class. It is often implicitly assumed that the poisoned classifier is vulnerable exclusively to the adversary who possesses the trigger. In this paper, we show empirically that this view of backdoored classifiers is incorrect. We describe a new threat model for poisoned classifier, where one without knowledge of the original trigger, would want to control the poisoned classifier. Under this threat model, we propose a test-time, human-in-the-loop attack method to generate multiple effective alternative triggers without access to the initial backdoor and the training data. We construct these alternative triggers by first generating adversarial examples for a smoothed version of the classifier, created with a procedure called Denoised Smoothing, and then extracting colors or cropped portions of smoothed adversarial images with human interaction. We demonstrate the effectiveness of our attack through extensive experiments on high-resolution datasets: ImageNet and TrojAI. We also compare our approach to previous work on modeling trigger distributions and find that our method are more scalable and efficient in generating effective triggers. Last, we include a user study which demonstrates that our method allows users to easily determine the existence of such backdoors in existing poisoned classifiers. Thus, we argue that there is no such thing as a secret backdoor in poisoned classifiers: poisoning a classifier invites attacks not just by the party that possesses the trigger, but from anyone with access to the classifier.
研究の動機と目的
- バックドアトリガーが汚染された分類器において秘匿されており、元の攻撃者以外には制御できないという一般的な仮定に挑戦すること。
- 学習データや元のトリガーにアクセスできない状況下でも、実用的でスケーラブルな代替バックドアトリガー生成手法を開発すること。
- 堅牢化されたモデルの adversarial な例に含まれる知覚的なパターンを活用することで、第三者が汚染された分類器を攻撃可能であることを示すこと。
- ユーザースタディを通じて解釈可能性と有効性を評価し、既存の解釈可能性および攻撃ベースラインを上回ることを示すこと。
提案手法
- 汚染された分類器にドネイズドスムージングを適用し、adversarial な例においてもバックドアパターンを保持する堅牢でスムージングされたバージョンを生成する。
- 標準的な adversarial 攻撃手法を用いて、スムージングされた分類器の adversarial な例を生成する。
- これらの adversarial な例から、色のパッチや切り抜き画像領域を特定することで、知覚的に意味のあるトリガー候補を抽出する。
- 人間を含むループのインタラクションを用いて、抽出された候補から有効なトリガーパターンを選択・検証する。
- 選択されたパターンを合成して新しいトリガーを構築し、元の汚染された分類器における攻撃成功率を評価する。
- ImageNet および TrojAI データセット上で、新しいトリガーと元のバックドアおよびベースライン手法の性能を比較する。
実験結果
リサーチクエスチョン
- RQ1元のトリガーおよび学習データにアクセスできない状況下でも、汚染された分類器に対して効果的な代替バックドアトリガーを生成できるか？
- RQ2汚染された分類器の堅牢化されたバージョンの adversarial な例から、新たなトリガーとして抽出可能な攻撃可能なバックドアパターンが明らかになるか？
- RQ3新たに生成されたトリガーの性能は、元のバックドアと比較して攻撃成功率の観点でどのように異なるか？
- RQ4自動化手法と比較して、人間を含むループによるトリガーパターンの選択が、有効性および解釈可能性の面で顕著に向上するか？
- RQ5この手法は、専門知識のないユーザーが汚染されたモデルのバックドアを検出・理解するのをどの程度支援できるか？
主な発見
- ImageNet では、色のトリガーと切り抜きトリガーのそれぞれで、攻撃成功率が 88.60% および 83.00% に達し、元のバックドアの 75.80% を上回った。
- TrojAI ラウンド 0 では、20 個の分類器の平均攻撃成功率が 98.76% に達し、最も基本的なラウンドでは最高の成功率 98.76% を記録した。
- ユーザースタディの結果、ドネイズドスムージング手法を用いたユーザーは、汚染されたモデルを識別する際、68% のベースラインである Basic Adv よりも顕著に高い 89% の正確性を達成した。Saliency Map ベースラインの 52% よりも顕著に優れていた。
- ドネイズドスムージング手法を用いた参加者たちは、汚染された画像に対して平均 97% の攻撃成功率を持つトリガーを構築したのに対し、ランダムに切り抜いたパッチではわずか 8% にとどまった。
- 本手法は、高解像度のデータセットにおいても、高品質なトリガーを効率的かつスケーラブルに生成できることを示した。従来のトリガー分布モデリング手法を上回る性能を発揮した。
- ユーザースタディの結果、人間を含むループのアプローチは非常に解釈可能で効果的であり、実世界の汚染されたモデルにおけるバックドアを信頼性高く検出できることが確認された。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。