[論文レビュー] Metric Learning for Adversarial Robustness

Chengzhi Mao, Ziyuan Zhong+3 more|arXiv (Cornell University)|Sep 3, 2019

Adversarial Robustness in Machine Learning被引用数 58

ひとこと要約

本論文は Triplet Loss Adversarial (TLA) トレーニングを提案します。これはメトリック学習に基づく正則化で、半難易度マイニング戦略を用いた敵対的アンカーを利用し、同じクラス内の表現を引き締め、クラス間のマージンを拡大します。これにより、モデルアーキテクチャを変更せずにロバスト性と敵対的検出を向上させます。

ABSTRACT

Deep networks are well-known to be fragile to adversarial attacks. We conduct an empirical analysis of deep representations under the state-of-the-art attack method called PGD, and find that the attack causes the internal representation to shift closer to the "false" class. Motivated by this observation, we propose to regularize the representation space under attack with metric learning to produce more robust classifiers. By carefully sampling examples for metric learning, our learned representation not only increases robustness, but also detects previously unseen adversarial samples. Quantitative experiments show improvement of robustness accuracy by up to 4% and detection efficiency by up to 6% according to Area Under Curve score over prior work. The code of our work is available at https://github.com/columbia/Metric_Learning_Adversarial_Robustness.

研究の動機と目的

• 敵対的攻撃が潜在表現をどのように歪めるかを理解し、メトリック学習に基づく正則化の動機づけを行う。
• モデルアーキテクチャを維持しつつ、ロバスト性と検出を改善する実用的な TLA トレーニング手法を提案する。
• untargeted PGD および unseen attacks に対して、データセットとアーキテクチャを跨いで TLA を評価する。
• 負のサンプリングとアンカー選択がロバストネスに与える影響を分析し、トレーニングの指針を提供する。

提案手法

• ペンアルティメット層にトリプレット損失を適用し、同じクラスのクリーンなサンプルと adversarial samples を引き寄せ、異なるクラスを引き離す。
• アンカーとして PGD で生成された adversarial サンプルを用い、ポジティブは同じクラスのクリーンな例、ネガティブは他クラスからの同一バッチ内で最近接なサンプルとする。
• トリプレット損失の埋め込み空間で角度距離メトリックを定義する。
• 対敵的な例に対する交差エントロピー損失とトリプレット損失、および訓練の安定化のための特徴ノルム減衰項を組み合わせる。
• 2つの変種を検討: TLA-RN (random negatives) および TLA-SA (anchor-then-adversarial positive)。半難易度ネガティブが性能を向上させることを実証的エビデンスと共に示す。
• MNIST、CIFAR-10、および Tiny ImageNet に跨って untargeted L-infinity 攻撃（および他のノルム）と複数のアーキテクチャで評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャを変更せずに、メトリック学習ベースの正則化は敵対的ロバスト性を改善できるか？
• RQ2 攻撃下で adversarial アンカーと半難易度ネガティブマイニングを用いたトリプレット損失は埋め込み幾何にどう影響するか？
• RQ3 TLA は unseen attack types や異なるモデルアーキテクチャに一般化するか？
• RQ4 アンカー選択とネガティブサンプリング戦略がロバストネスと検出性能に与える影響は何か？

主な発見

• TLA は、強力な20ステップPGD攻撃下でCIFAR-10における敵対的精度をベースラインと比較して最大4%向上させる。
• TLA は敵対的サンプル検出を強化し、敵対的例検出で最大約6%のAUC向上を達成。
• セミハードネガティブマイニング（ミニバッチ最近接ネガティブ）はランダムネガティブより優れており、ロバストネスを改善する。
• TLA は unseen attack types（L0 および L2）へ一般化し、CIFAR-10 と MNIST で顕著な向上を示す。
• TLA は敵対的摂動下で埋め込み空間の nearest-neighbor 一貫性を向上させ、堅牢な検索と検出を支援する。
• TLA は複数のアーキテクチャ（LeNet、WRN、MLP、ConvNet）で効果的で、堅牢性の向上が一貫して見られる。