[論文レビュー] Imperceptible Adversarial Attacks on Tabular Data

Vincent Ballet, Xavier Xavier+4 more|arXiv (Cornell University)|Nov 8, 2019

Adversarial Robustness in Machine Learning参考文献 12被引用数 50

ひとこと要約

本論文は表データに対する知覚不能な敵対的攻撃を定義し、LowProFool という勾配ベースの手法を導入します。重要度の低い特徴の摂動を知覚的に最小限に抑えつつ高い欺瞞率を達成します。

ABSTRACT

Security of machine learning models is a concern as they may face adversarial attacks for unwarranted advantageous decisions. While research on the topic has mainly been focusing on the image domain, numerous industrial applications, in particular in finance, rely on standard tabular data. In this paper, we discuss the notion of adversarial examples in the tabular domain. We propose a formalization based on the imperceptibility of attacks in the tabular domain leading to an approach to generate imperceptible adversarial examples. Experiments show that we can generate imperceptible adversarial examples with a high fooling rate.

研究の動機と目的

• 表データ領域における敵対的サンプルの動機付けと形式化。
• 表データの敵対的摂動の知覚性と一貫性を定義する。
• 分類器の出力を変えつつ知覚性を最小化する勾配ベースの攻撃（LowProFool）を提案する。
• 金融関連の表データセットで攻撃を評価し、ベースラインと比較する。

提案手法

• 特徴の重要度 v を用いた重み付き摂動 d_v(r) = ||v ⊙ r||_p^2 を用いて表データの知覚不能性を定式化する。
• 誤分類と知覚性のバランスをとる最適化目的 g(r) = L(x + r, t) + λ ||v ⊙ r||_p を定義する。
• コヒーレンス制約(A)と特徴クリッピングの下で g(r) を最小化する勾配降下アルゴリズムとして LowProFool を開発する。
• 実データの範囲と整合するよう、勾配ベースの更新と特徴クリッピングを用いたホワイトボックス設定を用いる。
• ターゲット変数との絶対ピアソン相関から特徴の重要度 v をモデル化し、単位長に正規化する。
• ニューラルネットワーク分類器を用いて four datasets (German Credit, Australian Credit, Default Credit Card, Lending Club Loan) を評価する。

実験結果

リサーチクエスチョン

• RQ1 表データにおける敵対的摂動の知覚性をどのように定義・測定するか？
• RQ2 専門家にとって知覚上不可視のまま、重要度の低い特徴を利用して誤分類を引き起こす攻撃は可能か？
• RQ3 表データに適用したとき、LowProFoolは既存の画像ドメインのベースライン（FGSM, DeepFool）とどう比較されるか？
• RQ4 表データ領域における欺瞞率と摂動知覚性のトレードオフは何か？

主な発見

データセット	手法	SR	平均	加重平均	MD_O	WMD_O
German C.	LowProFool	0.94	0.344 ± 0.282	0.039 ± 0.027	0.49 ± 0.193	0.091 ± 0.039
German C.	DeepFool	1.00	0.21 ± 0.181	0.076 ± 0.077	0.485 ± 0.193	0.089 ± 0.038
German C.	FGSM	0.192	19.69 ± 75.61	5.683 ± 21.827	0.477 ± 0.173	0.085 ± 0.037
Default C.	LowProFool	0.856	0.061 ± 0.109	0.002 ± 0.005	0.199 ± 0.137	0.034 ± 0.031
Default C.	DeepFool	0.996	0.023 ± 0.026	0.005 ± 0.007	0.198 ± 0.132	0.036 ± 0.032
Default C.	FGSM	0.588	1.122 ± 4.127	0.245 ± 0.901	0.207 ± 0.154	0.035 ± 0.032
Australian	LowProFool	0.968	0.710 ± 0.530	0.210 ± 0.141	0.374 ± 0.188	0.055 ± 0.027
Australian	DeepFool	1.000	0.50 ± 0.349	0.263 ± 0.183	0.375 ± 0.189	0.055 ± 0.027
Australian	FGSM	0	–	–	–	–
Lending L.	LowProFool	0.944	0.124 ± 0.168	0.014 ± 0.027	0.659 ± 0.207	0.062 ± 0.027
Lending L.	DeepFool	0.996	0.107 ± 0.154	0.024 ± 0.035	0.66 ± 0.209	0.062 ± 0.028
Lending L.	FGSM	0	–	–	–	–

• LowProFool は各データセットで高い欺瞞率を達成（Australian Credit で SR は最大 0.968、Lending Club で 0.944 など）。
• 平均摂動と加重摂動ノルムは知覚可能なベースラインより大幅に小さく、DeepFool に対して競争力のあるまたは優れた欺瞞率を維持。
• 加重摂動ノルム (d_v(r)) は、LowProFool が FGSM より知覚不能な摂動を生み出し、Raw ノルムでは DeepFool より知覚性が高い場合が多いが、知覚重み付けの点でより優れている。
• 平均して LowProFool の摂動は元のサンプルに非常に近く、加重摂動は最近傍点への距離のごく一部を占める（例: Default Credit Card で 5.9%）。
• FGSM は表データ上で性能が不足、DeepFool はより高い欺瞞率を達成するが、加重指標下の知覚性は大きい。
• 結果は、分類器で学習された特徴重要度と専門家の直感(v)の間に乖離があることを示唆しており、重要度の低い特徴を介して知覚不能な攻撃を可能にする。