[論文レビュー] Model extraction from counterfactual explanations

Ulrich Aïvodji, Alexandre Bolot+1 more|arXiv (Cornell University)|Sep 3, 2020

Adversarial Robustness in Machine Learning参考文献 89被引用数 20

ひとこと要約

この論文は、説明可能AIシステムにおけるモデルの透明性を向上させることを目的としている反転的説明（counterfactual explanations）が、敵対的攻撃者によって、最小限のクエリ予算で高精度・高忠実度のモデル抽出攻撃に悪用され得ることを示している。摂動を加えた入力インスタンスを用いることでモデルの予測を変更し、攻撃者はそのターゲットブラックボックスモデルをよく模倣するスラムモデル（surrogate model）を再構築可能となる。これは、説明可能AIシステムにおける深刻なプライバシーリスクを露呈するものである。

ABSTRACT

Post-hoc explanation techniques refer to a posteriori methods that can be used to explain how black-box machine learning models produce their outcomes. Among post-hoc explanation techniques, counterfactual explanations are becoming one of the most popular methods to achieve this objective. In particular, in addition to highlighting the most important features used by the black-box model, they provide users with actionable explanations in the form of data instances that would have received a different outcome. Nonetheless, by doing so, they also leak non-trivial information about the model itself, which raises privacy issues. In this work, we demonstrate how an adversary can leverage the information provided by counterfactual explanations to build high-fidelity and high-accuracy model extraction attacks. More precisely, our attack enables the adversary to build a faithful copy of a target model by accessing its counterfactual explanations. The empirical evaluation of the proposed attack on black-box models trained on real-world datasets demonstrates that they can achieve high-fidelity and high-accuracy extraction even under low query budgets.

研究の動機と目的

• 反転的説明（モデルの透明性を目的として開発されたもの）が、意図せず機密なモデル情報を漏洩させる可能性があるかどうかを調査すること。
• クエリインターフェースとして反転的説明のみを用いて、モデル抽出攻撃が実現可能かどうかを分析すること。
• 攻撃者の事前知識（訓練データやモデルアーキテクチャの有無など）の違いに応じた攻撃の実行可能性を評価すること。
• 後処理説明システムにおける説明の現実性（多様性、耐性）とモデルのプライバシーの間のトレードオフを調査すること。
• プライバシー保護機械学習への影響と、クエリレート監視やウォーターマーキングといった既存の防御メカニズムの限界を評価すること。

提案手法

• 攻撃者はブラックボックスモデルにクエリを送信し、モデルの予測を変更する摂動を加えた入力（反転的説明）を取得する。
• 攻撃者はこれらの反転的説明を訓練データとして用い、教師あり学習によりスラムモデルを訓練し、ターゲットモデルの挙動を再現することを目的とする。
• 攻撃者の事前知識（訓練データ分布、モデルアーキテクチャ、説明生成に訓練データを使用するか）の違いに応じて、複数の攻撃者モデルを定義する。
• リアルなスパイク的攻撃シナリオを模倣するため、低クエリ予算下で攻撃を評価する。
• 性能は、スラムモデルの精度と忠実度（ターゲットモデルとの予測の類似性など）の観点から測定する。
• 本手法は、ランダムフォレストやニューラルネットワークなどのブラックボックスモデルを用いた実世界のデータセットでテストされた。

実験結果

リサーチクエスチョン

• RQ1 反転的説明を活用して、ブラックボックスモデルに対して高忠実度のモデル抽出攻撃を実行可能か？
• RQ2 攻撃者の事前知識（例：訓練データ分布、モデルアーキテクチャ）が、モデル抽出の成功に与える影響は何か？
• RQ3 反転的説明の多様性が、抽出されたスラムモデルの品質に与える影響は何か？
• RQ4 低クエリ予算でモデル抽出が可能か？ これにより攻撃はステルス的かつ検知困難となるか？
• RQ5 現実的で信頼性のある説明と、モデルのプライバシー漏洩リスクの間には、どのような緊張関係があるか？

主な発見

• 提案されたモデル抽出攻撃は、低クエリ予算でも高い精度と忠実度を達成しており、スパイク的攻撃の実現可能性を示している。
• 本攻撃は、ランダムフォレストやニューラルネットワークなど、さまざまなブラックボックスモデルに対して、実世界のデータセット上で効果的である。
• 説明の信頼性を高めるために多様性が求められる場合、攻撃の性能が向上することが確認され、説明の質と攻撃成功の間には直接的な関連があることが示された。
• 訓練データやアーキテクチャの事前知識がなくても、攻撃者はターゲットモデルの挙動をよく模倣するスラムモデルを再構築可能である。
• クエリレート監視やウォーターマーキングといった既存の防御策は、本攻撃に対して効果を示さない。これは、攻撃が低クエリ量かつ非適応的であるためである。
• 本研究の結果は、透明性（現実的で忠実な説明により実現）とプライバシーの間の根本的な緊張関係を明らかにした。より忠実で多様な説明は、モデル抽出攻撃のリスクを高める。