[論文レビュー] Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering

Lukas Schulth, Christian Berghoff+1 more|arXiv (Cornell University)|Apr 27, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、層別関連性伝播（LRP）を用いて生成されたヒートマップにk-meansクラスタリングを適用することで、深層ニューラルネットワークにおけるバックドア汚染攻撃を検出する新規手法であるヒートマップクラスタリング（HC）を提案する。HCは、標準的およびラベル整合的バックドア攻撃の検出においてアクティベーションクラスタリング（AC）を上回り、特にトリガーの可視性が低い状況でも優れた性能を示し、33%の汚染データに対して最大99.82%の精度と100%の真正陽性率を達成する。また、性能のばらつきも著しく小さい。

ABSTRACT

Predicitions made by neural networks can be fraudulently altered by so-called poisoning attacks. A special case are backdoor poisoning attacks. We study suitable detection methods and introduce a new method called Heatmap Clustering. There, we apply a $k$-means clustering algorithm on heatmaps produced by the state-of-the-art explainable AI method Layer-wise relevance propagation. The goal is to separate poisoned from un-poisoned data in the dataset. We compare this method with a similar method, called Activation Clustering, which also uses $k$-means clustering but applies it on the activation of certain hidden layers of the neural network as input. We test the performance of both approaches for standard backdoor poisoning attacks, label-consistent poisoning attacks and label-consistent poisoning attacks with reduced amplitude stickers. We show that Heatmap Clustering consistently performs better than Activation Clustering. However, when considering label-consistent poisoning attacks, the latter method also yields good detection performance.

研究の動機と目的

• ラベル整合的バージョンのバックドア汚染攻撃は、一貫したラベル付けにより人間の目では検出困難であるが、そのような攻撃の検出の課題に対処すること。
• 人間の知覚可能なトリガーパターンに依存せずに、汚染されたデータポイントを特定できる耐性のある検出手法を開発すること。
• さまざまなバックドア攻撃バージョンの検出において、ヒートマップベースのクラスタリングとアクティベーションベースのクラスタリングの有効性を比較評価すること。
• ラベル整合的バックドア攻撃—かつては検出不能とされていた—が、説明可能なAI技術（例：LRP）を用いることで検出可能であることを示すこと。

提案手法

• 各データポイントに対して層別関連性伝播（LRP）を適用し、入力アクティベーションのヒートマップを生成することで、ネットワーク内での特徴の重要度を可視化する。
• Gromov-Wasserstein距離を類似性測度として用い、LRPヒートマップにk-meansクラスタリングを適用し、意思決定戦略に基づいてデータポイントをグループ化する。
• クラスタリング結果を比較して、汚染されたサンプルに対応する外れ値を同定する。汚染データは特徴的な意思決定パターンを示すものと仮定する。
• ベースライン手法として、中間層のアクティベーションにk-meansを適用するアクティベーションクラスタリング（AC）を実装する。
• Gromov-Wasserstein距離を用いることで、複雑で非ユークリッド的な関連性分布同士の構造的類似性を測定可能となり、ヒートマップ間の比較が可能になる。
• 検出性能を、検出精度（ACC）、真正陽性率（TPR）、真正陰性率（TNR）などの指標を用いて、複数の攻撃設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 LRPを用いたヒートマップクラスタリングは、アクティベーションクラスタリングに比べ、標準的バックドア汚染攻撃をより効果的に検出できるか？
• RQ2 トリガーの振幅を低減することで視覚的に見えにくくした場合でも、ヒートマップクラスタリングは有効に機能するか？
• RQ3 ラベル整合的バックドア攻撃—汚染されたサンプルが正しくラベル付けされている—は、説明可能なAI手法を用いても検出可能か？
• RQ4 トリガー位置の変化や画像選択の変動に対して、ヒートマップクラスタリングの耐性はアクティベーションクラスタリングと比べてどうか？
• RQ5 ヒートマップクラスタリングにおいて、検出精度と計算コストのトレードオフが生じるか？

主な発見

• ヒートマップクラスタリング（HC）は、ラベル整合的攻撃において33%の汚染データに対して平均99.82%の検出精度と99.46%の真正陽性率を達成し、アクティベーションクラスタリングを著しく上回った。
• トリガー振幅を低減した攻撃（例：32）では、HCは81.58%の検出精度と58.46%のTPRを維持したが、ACは78.97%の精度と74.26%のTPRに低下した。
• HCは検出性能のばらつきが極めて小さく（精度の標準偏差0.19）、ACの標準偏差6.81と比べて著しく高い耐性を示した。
• 33%の汚染データと低減されたトリガー振幅を想定した実験では、ACの攻撃成功率（ASR）は25.65%に低下したが、HCは81.58%を維持しており、微細なトリガーに対しても耐性があることが示された。
• 本研究では、ラベル整合的バックドア攻撃が検出不能であるという主張を覆し、LRPに基づくヒートマップ分析によって同様の攻撃が同定可能であることを実証した。
• HCはGromov-Wasserstein距離の計算が計算コストが高いため、ACよりも大幅に実行時間が長く、ハイブリッド検出パイプラインが最適である可能性がある。