[論文レビュー] On the amplification of security and privacy risks by post-hoc explanations in machine learning models

Pengrui Quan, Supriyo Chakraborty+2 more|arXiv (Cornell University)|Jun 28, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、機械学習における事後解釈が、より効率的な対敵攻撃を可能にするため、セキュリティおよびプライバシーリスクを拡大することを示している。本論文は、勾配推定のための事前知識として解釈を活用することで、クエリ数を最大10倍まで削減する3つの新しい解釈誘導型回避攻撃（EGTA、EGSMA、EGSA）を提案し、攻撃の効率性向上を勾配推定の分散低減として定量的に評価している。同時に、顕著なメンバーインファレンス漏洩とモデル抽出の利点も示している。

ABSTRACT

A variety of explanation methods have been proposed in recent years to help users gain insights into the results returned by neural networks, which are otherwise complex and opaque black-boxes. However, explanations give rise to potential side-channels that can be leveraged by an adversary for mounting attacks on the system. In particular, post-hoc explanation methods that highlight input dimensions according to their importance or relevance to the result also leak information that weakens security and privacy. In this work, we perform the first systematic characterization of the privacy and security risks arising from various popular explanation techniques. First, we propose novel explanation-guided black-box evasion attacks that lead to 10 times reduction in query count for the same success rate. We show that the adversarial advantage from explanations can be quantified as a reduction in the total variance of the estimated gradient. Second, we revisit the membership information leaked by common explanations. Contrary to observations in prior studies, via our modified attacks we show significant leakage of membership information (above 100% improvement over prior results), even in a much stricter black-box setting. Finally, we study explanation-guided model extraction attacks and demonstrate adversarial gains through a large reduction in query count.

研究の動機と目的

• 事後解釈が機械学習モデルにおける対敵攻撃の新たなサイドチャnelを露呈する仕組みを体系的に同定すること。
• クエリの複雑さを低減しつつ高い成功率を維持する、新しい解釈誘導型ブラックボックス回避攻撃を開発すること。
• 解釈から得られる対敵利点を、推定勾配の分散低減として定量的に評価すること。
• 解釈を用いたメンバーインファレンス攻撃を再評価し、先行研究よりも顕著に高い漏洩率を示すこと。
• 解釈がモデル抽出攻撃に与える影響を調査し、顕著なクエリ数削減を示すこと。

提案手法

• 解釈を転送事前知識として用いる解釈誘導型トランスファー攻撃（EGTA）を提案し、勾配推定のための探索分布を形状づける。
• 被害モデルの意思決定を模倣するために、解釈を用いてトレーニングするサーヴィレートモデルを導入する解釈誘導型サーヴィレートモデル攻撃（EGSMA）。
• 絶対値勾配を解釈に含める場合、解釈を用いて勾配探索分布の共分散行列を定義する解釈誘導型サンプリング攻撃（EGSA）を開発する。
• 解釈による対敵利点を、推定勾配の総分散低減として定量化し、ガウス分布上でのKLダイバージェンス最小化により形式化する。
• メンバーインファレンス攻撃における説明の分散を計算する際、ロジットの代わりにソフトマックス出力スコアを用いることで、検出精度を向上させる。
• 解釈の平均二乗値（MSV）とモデル抽出効率の関係を結びつけ、MSVが高いほど対敵利点が大きくなることを示す。

実験結果

リサーチクエスチョン

• RQ1 事後解釈は、ブラックボックス回避攻撃に成功するためのクエリ数をどの程度削減するか？
• RQ2 厳密なブラックボックス環境下で、解釈をどのように活用してメンバーインファレンス攻撃の効率を向上させられるか？
• RQ3 解釈の品質とモデル抽出攻撃における対敵利点との間の定量的関係は何か？
• RQ4 説明の分散計算においてロジットの代わりにソフトマックススコアを使用すると、メンバーインファレンス漏洩にどのような影響を与えるか？
• RQ5 情報理論的指標（例：KLダイバージェンス）を用いて、解釈による対敵利点を形式的に定量化できるか？

主な発見

• 提案された解釈誘導型回避攻撃は、ベースライン手法と比較してクエリ数を最大10倍まで削減し、攻撃の実行可能性を著しく向上させた。
• 解釈による対敵利点は、推定勾配の総分散低減と明確に関連しており、これはKLダイバージェンス最小化により形式化された。
• 説明の分散を用いたメンバーインファレンス攻撃は、先行研究と比較して成功確率が100%以上向上し、より厳しいブラックボックス環境下でも同様の結果を示した。
• 解釈誘導型サーヴィレートモデル攻撃（EGSMA）は、解釈誘導データ上でトレーニングされたサーヴィレートモデルにより、被害モデルの意思決定を高い忠実度で再現した。
• 解釈を用いたモデル抽出攻撃は顕著なクエリ数削減を達成し、対敵利点は解釈の平均二乗値（MSV）と強く相関していた。
• 本研究は、解釈が豊富なサイドチャネルを提供することを確認した。これは、モデルが予測と解釈の出力のみを公開している場合でも、セキュリティとプライバシーを著しく弱体化させる。