[論文レビュー] Susceptibility of Continual Learning Against Adversarial Attacks

Hikmat Ullah Khan, Pir Masoom Shah+3 more|arXiv (Cornell University)|Jul 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、タスクインクリメンタル学習、ドメインインクリメンタル学習、クラスインクリメンタル学習の設定において、継続的学習モデルが adversarial 攻撃に対してどれほど脆弱であるかを調査している。SOTAメソッド（正則化ベース：EWC, SI、リプレイベース：DGR, LwF、ハイブリッド：iCARL）が adversarial 例に対して極めて感受性が高く、現在のものや過去のものにかかわらず、任意のクラスをターゲットクラスに誤分類することができることを示しており、継続的学習システムにおける深刻なセキュリティ上の欠陥を明らかにしている。

ABSTRACT

Recent continual learning approaches have primarily focused on mitigating catastrophic forgetting. Nevertheless, two critical areas have remained relatively unexplored: 1) evaluating the robustness of proposed methods and 2) ensuring the security of learned tasks. This paper investigates the susceptibility of continually learned tasks, including current and previously acquired tasks, to adversarial attacks. Specifically, we have observed that any class belonging to any task can be easily targeted and misclassified as the desired target class of any other task. Such susceptibility or vulnerability of learned tasks to adversarial attacks raises profound concerns regarding data integrity and privacy. To assess the robustness of continual learning approaches, we consider continual learning approaches in all three scenarios, i.e., task-incremental learning, domain-incremental learning, and class-incremental learning. In this regard, we explore the robustness of three regularization-based methods, three replay-based approaches, and one hybrid technique that combines replay and exemplar approaches. We empirically demonstrated that in any setting of continual learning, any class, whether belonging to the current or previously learned tasks, is susceptible to misclassification. Our observations identify potential limitations of continual learning approaches against adversarial attacks and highlight that current continual learning algorithms could not be suitable for deployment in real-world settings.

研究の動機と目的

• 先行研究でほとんど無視されてきた分野である、継続的学習モデルの adversarial 攻撃に対する耐性を調査すること。
• さまざまな継続的学習シナリオにおいて、現在のタスクおよび以前に学習されたタスクの両方が adversarial 誤分類に対してどれほど感受性があるかを評価すること。
• 特に誤記憶の形成（誤分類を通じた過去のタスクとの誤関連付け）によって引き起こされる、adversarial 例が継続的学習に与えるセキュリティリスクを強調すること。
• catastrophic forgetting の緩和を超えて、継続的学習の評価に adversarial 耐性メトリクスを統合するよう提言すること。
• catastrophic forgetting に耐性があり、かつ adversarial な操作に対しても耐性を持つ継続的学習手法の開発に向けて、パラダイムの転換を呼びかけること。

提案手法

• タスクインクリメンタル学習、ドメインインクリメンタル学習、クラスインクリメンタル学習の3つのインクリメンタル学習設定において、10種類の最先端の継続的学習手法を評価した。
• 正則化（EWC, EWC online, SI）、リプレイ（LwF, DGR, DGR+Distill）、ハイブリッド（iCARL）手法で訓練されたモデルに対して、3種類の adversarial 攻撃手法（FGSM, PGD, CW）を適用した。
• adversarial パーティクルの影響を測定するために、クラス別および集計的正答率分析を実施した。
• 現在のものであろうと過去に学習されたものであろうと、別のタスクのターゲットクラスに、任意のクラスを誤分類するように設計された adversarial 例を用いた。
• クリーンな状態と adversarial 条件下でのモデル性能を比較し、すべての設定において耐性喪失の度合いを定量化した。
• 各タスクの学習フェーズに adversarial 訓練を統合することで、耐性を高めるための今後の統合を提言した。

実験結果

リサーチクエスチョン

• RQ1 adversarial 攻撃は、継続的学習モデルにおいて、現在のタスクのものであろうと過去に学習されたものであろうと、任意のクラスを別のタスクのターゲットクラスに誤分類することができるか？
• RQ2 正則化ベース、リプレイベース、ハイブリッドの継続的学習手法が、さまざまなインクリメンタル学習シナリオにおいて adversarial 攻撃に対してどれほど耐性を示すかは、どのように異なるか？
• RQ3 adversarial 例は、継続的学習システムにおける過去に学習された知識の整合性をどの程度損なうか？
• RQ4 adversarial 脆弱性は、セキュリティが重要な実世界の応用分野への継続的学習モデルの導入にどのような影響を及えるか？
• RQ5 catastrophic forgetting の緩和能力を損なわせることなく、adversarial 耐性を継続的学習フレームワークに体系的に統合する方法は何か？

主な発見

• 評価されたすべての継続的学習手法（アーキテクチャや戦略に関係なく）が、タスクインクリメンタル学習、ドメインインクリメンタル学習、クラスインクリメンタル学習の3つの設定において、adversarial 攻撃に対して極めて感受性を示した。
• adversarial 例を用いることで、現在のものであろうと過去に学習されたものであろうと、任意のクラスを別のタスクのターゲットクラスに高確率で誤分類することができた。
• FGSM, PGD, CW 攻撃の下で顕著な正答率の低下が観察され、特に iCARL では CW 攻撃下でクラス別および集計的性能が著しく低下した。
• この脆弱性は、3つのシナリオすべてにわたり一貫しており、現在の継続的学習アプローチにおける adversarial 耐性に関する根本的な欠陥を示している。
• 本研究では、adversarial な操作によって誤って過去のタスクと関連づけられる「誤記憶の形成」が誘発される可能性があることが明らかになった。
• 現在の継続的学習モデルは、adversarial 例に対して十分な防御メカニズムを備えておらず、実世界の展開において信頼性とセキュリティが損なわれている。