[論文レビュー] Towards Reliable Evaluation and Fast Training of Robust Semantic Segmentation Models

Francesco Croce, Naman D Singh+1 more|arXiv (Cornell University)|Jun 22, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、補完的な損失関数と最適化戦略を用いて、頑健なセマンティックセグメンテーションのための新規アンサンブル攻撃（SEA）を提案する。これにより、敵対的頑健性の評価が著しく向上する。さらに、敵対的頑健なImageNetバックボーンを微調整することで、最先端の頑健なセグメンテーションモデルを高速かつ効率的に訓練可能となり、Pascal-VOCではSOTA性能を達成し、Ade20Kでは初の頑健なモデルを実現。訓練コストは最大6倍まで低減される。

ABSTRACT

Adversarial robustness has been studied extensively in image classification, especially for the $\ell_\infty$-threat model, but significantly less so for related tasks such as object detection and semantic segmentation, where attacks turn out to be a much harder optimization problem than for image classification. We propose several problem-specific novel attacks minimizing different metrics in accuracy and mIoU. The ensemble of our attacks, SEA, shows that existing attacks severely overestimate the robustness of semantic segmentation models. Surprisingly, existing attempts of adversarial training for semantic segmentation models turn out to be weak or even completely non-robust. We investigate why previous adaptations of adversarial training to semantic segmentation failed and show how recently proposed robust ImageNet backbones can be used to obtain adversarially robust semantic segmentation models with up to six times less training time for PASCAL-VOC and the more challenging ADE20k. The associated code and robust models are available at https://github.com/nmndeep/robust-segmentation

研究の動機と目的

• セマンティックセグメンテーションにおける敵対的頑健性のための信頼性が高く強力な評価プロトコルの欠如に対処すること。
• 分類器の敵対的訓練に起因する高い計算コストを、事前学習済みの頑健なImageNet分類器を活用することで克服すること。
• 従来の手法よりも優れた脆弱性の露呈を可能にする、より効果的かつ包括的な攻撃フレームワークの開発。
• 大幅に短縮されたトレーニング時間で高い頑健性を達成する、新しい頑健なセグメンテーショントレーニングのパラダイムの確立。
• 計算コスト効率の良い微調整アプローチを用いて、Pascal-VOCおよびAde20Kデータセットの両方で最先端の頑健性を実証すること。

提案手法

• 画素単位のセグメンテーション攻撃に特化した新しい損失関数を提案。特に、画像全体の予測ではなく、すべての画素の予測を反転させるように設計されている。
• PGDなどの最適化アルゴリズムを、セグメンテーションタスクの高次元かつ画素単位の性質に適応させ、攻撃成功率を向上。
• セグメンテーションアンサンブル攻撃（SEA）を導入。補完的な損失関数を持つ複数の攻撃を組み合わせ、分類タスクのAutoAttackに類似した最悪事態評価プロトコルを形成。
• 最近学習された頑健なImageNet分類器を、セグメンテーションモデルの事前学習済みバックボーンとして活用。これにより、完全に敵対的訓練から再始動するのではなく、効率的な微調整が可能になる。
• 頑健なImageNetバックボーンを初期値として用い、分類ヘッドに対して敵対的訓練を実施。訓練エポック数と攻撃ステップ数を増やすことで収束性と頑健性を向上。
• 多目的評価戦略を採用。SEAアンサンブル攻撃下での画素精度とmIoUを測定することで、包括的な評価を保証。

Figure 2: Testing difference between const- $\epsilon$ and red- $\epsilon$ schemes. Under the same iteration budget for the robust init. AT 5 model, across different losses we see radius reduction (red- $\epsilon$ ) scheme leads to most drop in robust Acc . Specifically for worst-case over all losse

実験結果

リサーチクエスチョン

• RQ1 画像分類のための従来の敵対的攻撃手法を、セマンティックセグメンテーションに直接適用可能か。あるいは、タスク固有の課題により失敗するか。
• RQ2 目的関数と最適化プロセスをどのように変更すれば、すべての画素の予測を反転させる効果的な攻撃が可能になるか。
• RQ3 補完的な損失関数を持つ攻撃のアンサンブルは、個々の攻撃よりも信頼性が高く強力なモデルの頑健性評価を可能にするか。
• RQ4 大幅に計算コストを削減しつつ、セマンティックセグメンテーションにおける最先端の敵対的頑健性を達成することは可能か。
• RQ5 敵対的学習済みImageNetバックボーンを効果的に微調整することで、効率的な頑健なセグメンテーションモデルのトレーニングが可能か。

主な発見

• 提案されたSEAアンサンブル攻撃は、従来の手法を上回り、過去の評価が平均画素精度で最大10%、mIoUで6%過大評価していたことが判明。
• クリーン初期化からの敵対的訓練では、良好な頑健性を得るまでに最大300エポックを要するが、頑健なImageNetバックボーンを用いるモデルは、32～128エポックで同等またはより優れた頑健性を達成。
• 頑健なバックボーンを用いた微調整により、頑健なセグメンテーションモデルのトレーニングに要する計算コストが、完全な再トレーニングと比較して最大6倍まで低減。
• 本手法により、Pascal-VOCでは最先端の頑健性を達成し、より困難なAde20Kデータセットでは初の頑健なモデルを確立。
• 本手法でトレーニングされた頑健なモデルは、通常の敵対的訓練で見られるような精度低下を避け、クリーンな性能を維持。
• わずか32エポックのトレーニングでも、頑健なバックボーンを用いたモデルは、クリーン初期化から128エポックトレーニングしたモデルよりも、Ade20Kのε = 4/255における頑健性で優れている。

Figure 3: Testing difference between const- $\epsilon$ and red- $\epsilon$ schemes. Under the same iteration budget for the robust init. AT 5 model, across different losses we see red- $\epsilon$ scheme leads to most drop in robust m IoU . Specifically for worst-case over all losses, red- $\epsilon$