[論文レビュー] Improving the Robustness of Deep Neural Networks via Adversarial Training with Triplet Loss

Pengcheng Li, Jinfeng Yi+2 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 11

ひとこと要約

本稿では、アダルトトレーニングに三重損失を組み込むことで、深層ニューラルネットワークの耐性を向上させる、新たな防御手法であるAdversarial Training with Triplet Loss (AT²L) を提案する。アダルト例を三重損失のアンカーとして使用することで、意思決定境界を滑らかにし、FGSM、DeepFool、C&W攻撃に対して顕著に耐性を向上させる。自然精度を維持したまま、強力な攻撃下でも誤差率が最低4.6%まで低下する。

ABSTRACT

Recent studies have highlighted that deep neural networks (DNNs) are vulnerable to adversarial examples. In this paper, we improve the robustness of DNNs by utilizing techniques of Distance Metric Learning. Specifically, we incorporate Triplet Loss, one of the most popular Distance Metric Learning methods, into the framework of adversarial training. Our proposed algorithm, Adversarial Training with Triplet Loss (AT$^2$L), substitutes the adversarial example against the current model for the anchor of triplet loss to effectively smooth the classification boundary. Furthermore, we propose an ensemble version of AT$^2$L, which aggregates different attack methods and model structures for better defense effects. Our empirical studies verify that the proposed approach can significantly improve the robustness of DNNs without sacrificing accuracy. Finally, we demonstrate that our specially designed triplet loss can also be used as a regularization term to enhance other defense methods.

研究の動機と目的

• 自律走行やバイオメトリクスなどの実世界応用に脅かされる深層ニューラルネットワークのアダルト例に対する脆弱性を解消すること。
• 距離メトリック学習を用いて意思決定境界を精緻化することで、標準的なアダルトトレーニングを超えるアダルト耐性を向上させること。
• 三重損失が既存の防御手法の正則化項として機能するかどうかを検証すること。
• アンサンブルベースの攻撃統合が防御の一般化性能を向上させるかを評価すること。

提案手法

• 三重損失をアダルトトレーニングに統合し、三重のアンカーとしてアダルト例を用いることで、クラス内コンパクト性とクラス間分離性を促進する。
• 三重損失の定式化を変更し、アダルト例をアンカーとして使用することで、誤分類例が正解クラスの埋め込みから遠ざけられるようにする。
• FGSM、DeepFool、C&Wなどの複数の攻撃タイプとモデルアーキテクチャを組み合わせた、AT²Lのアンサンブル版を提案し、耐性を向上させる。
• 他の防御フレームワーク（例：Defense-GAN）に、提案された三重損失を正則化項として適用し、耐性を強化する。
• 交差エントロピーと三重損失を組み合わせた損失関数を採用：L_total = L_cross_entropy + λ₁·L_triplet + λ₂·L_reg、α=2.0、λ₁=0.3、λ₂=1.0。
• 二段階のトレーニングプロセスを採用：まず標準損失を用いたアダルトトレーニングを行い、その後三重正則化を用いたファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 アダルトトレーニングに三重損失を統合することで、アダルト耐性を向上させられるか？
• RQ2 三重損失のアンカーとしてアダルト例を使用することで、意思決定境界が滑らかになり、一般化性能が向上するか？
• RQ3 提案された三重損失は、他の防御手法の有効な正則化項として機能するか？
• RQ4 アンサンブルベースの攻撃統合は、防御モデルの耐性にどのように影響するか？
• RQ5 強力な攻撃下でも自然精度を維持しながら耐性を向上させられるか？

主な発見

• バニラ攻撃シナリオでは、AT²LはC&W攻撃下でInception-ResNet-v2のトップ-1誤差率を4.6%まで低下させ、元のモデルの100%と比較して顕著な改善を示した。
• アンサンブルパターン攻撃シナリオでは、AT²LはC&W攻撃下でInception-v3の誤差率を9.0%まで低下させ、元のモデル（99.1%誤差）を著しく上回った。
• AT²Lのアンサンブル版は、FGSM攻撃下でEns-adv-Inception-ResNet-v2の誤差率を8.9%まで低下させ、元のモデルの13.8%と比較して優れた性能を示した。
• Defense-GANに三重損失を正則化項として適用した場合、C&W攻撃下でモデルAの誤差率を96.5%から1.4%まで低下させ、高い転送性を示した。
• ランダマイゼーションレイヤーと組み合わせることで、AT²Lの耐性がさらに向上し、アンサンブル攻撃下でInception-v3のC&W誤差率は7.4%まで低下した。
• 本手法は、自然精度を高い水準で維持しながら、耐性を顕著に向上させ、すべての設定で最小限の精度低下にとどまった。