[論文レビュー] Adversarial Learning with Margin-based Triplet Embedding Regularization

Yaoyao Zhong, Weihong Deng|arXiv (Cornell University)|Sep 20, 2019

Adversarial Robustness in Machine Learning参考文献 52被引用数 5

ひとこと要約

本論文では、マージンに基づくトリプレット埋め込み正則化（MTER）を提案する。これは、繰り返し最適化によるマージンに基づくトリプレット制約を用いて、埋め込み空間における局所的滑らかさを強制することで、深層ニューラルネットワークのロバスト性を向上させる、新しい対抗的訓練手法である。実験の結果、MNISTおよびCASIA-WebFace、VGGFace2、MS-Celeb-1Mといった大規模な顔認識データセットにおいて、特徴レベルおよびラベルレベルの両方の対抗的攻撃に対して顕著な改善が得られた。

ABSTRACT

The Deep neural networks (DNNs) have achieved great success on a variety of computer vision tasks, however, they are highly vulnerable to adversarial attacks. To address this problem, we propose to improve the local smoothness of the representation space, by integrating a margin-based triplet embedding regularization term into the classification objective, so that the obtained model learns to resist adversarial examples. The regularization term consists of two steps optimizations which find potential perturbations and punish them by a large margin in an iterative way. Experimental results on MNIST, CASIA-WebFace, VGGFace2 and MS-Celeb-1M reveal that our approach increases the robustness of the network against both feature and label adversarial attacks in simple object classification and deep face recognition.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）の対抗的攻撃に対する脆弱性、特に顔認識のようなオープンセット設定における課題を解決すること。
• 表現空間の局所的滑らかさを向上させることで、モデルのロバスト性を高め、見えない摂動に対する感受性を低減すること。
• 特徴レベルおよびラベルレベルの両方の対抗的攻撃、特に転送可能で普遍的な摂動に対しても効果的な防御機構を開発すること。
• 推論時における検出に依存せず、クローズドセットおよびオープンセット分類タスクの両方と互換性を持つ、トレーニング時防御を提供すること。
• 大きなマージンを用いた埋め込み空間の正則化が、標準的な対抗的訓練をはるかに超えてロバスト性を顕著に向上させることを示すこと。

提案手法

• 分類損失にマージンに基づくトリプレット埋め込み正則化（MTER）項を統合し、クラス間分離とクラス内コンパクト性を強制する。
• 繰り返し2段階の最適化を採用する：まず、埋め込み空間における潜在的な対抗的摂動を特定し、次にそれらをペナルティ化することで、ソースとターゲットの埋め込み間の大きなマージンを確保する。
• 大きなマージンを用いることで、異なるクラスの表現間の距離を大きく保ちつつ、同じクラス内での滑らかさを維持する。
• 勾配に基づく反復的最適化を用いて、トレーニング中に対抗的攻撃をシミュレートし、モデルがロバストな表現を学習するよう促進する。
• MTERを標準的な分類損失（例：交差エントロピー）と組み合わせ、標準的なバックプロパゲーションを用いたエンドツーエンドトレーニングをサポートする。
• MNISTのようなクローズドセットと、MS-Celeb-1MやVGGFace2のような大規模データセットを含む、オープンセット（顔認識）ベンチマークにも適用する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間における局所的滑らかさの向上が、深層ニューラルネットワークの対抗的攻撃に対するロバスト性を高めうるか？
• RQ2 トリプレットベースの正則化に大きなマージンを組み込むことで、特徴レベルおよびラベルレベルの両方の対抗的攻撃に対する一般化性能と耐性が向上するか？
• RQ3 数百万のアイデンティティを含むオープンセット顔認識シナリオにおいて、MTERは標準的な対抗的訓練よりも効果的か？
• RQ4 ArcFaceのような最先端の顔認識モデルとMTERを組み合わせることで、精度を損なわずにさらにロバスト性を向上させられるか？
• RQ5 MTERの性能は、特に大規模なオープンセット設定において、トレーニングデータセットの規模と多様性に依存するか？

主な発見

• MTER手法は、顔認識モデルにおける対抗的攻撃のヒット率（すなわち、正しく識別されないアイデンティティの確率）を顕著に低下させ、標準モデルではほぼ100％であったのを著しく低い値にまで引き下げた。
• CASIA-WebFaceおよびVGGFace2において、MTER正則化を施したArcFaceモデルは、LFWで99.5％、YTFで94.8％の精度を達成し、標準的な対抗的訓練よりもロバスト性が向上した。
• MS-Celeb-1Mでは、MTERによるロバスト性の向上が、より小さなデータセットでは顕著に現れにくく、事前学習の前に高品質で小さなデータセットで微調整することで、モデルのロバスト性が向上する可能性を示唆している。
• データ拡張を超える構造的正則化を組み込むことで、標準的な対抗的訓練（例：IFTGSM）を上回る性能を発揮しており、データ注入と同様に最適化戦略の重要性が示された。
• MS-Celeb-1Mで事前学習した後、VGGFace2で微調整した場合、MTER正則化モデルはLFWで99.6％、YTFで97.5％の精度を達成し、特徴およびラベルレベルの両方の攻撃に対して強いロバスト性を示した。
• MTER正則化モデルの顔認識精度は、標準モデルと比較してわずかに低下する（例：LFWでは約0.2–0.5％低下）ことが確認され、精度とロバスト性のわずかなトレードオフが存在することが示された。