[論文レビュー] Self-Healing Robust Neural Networks via Closed-Loop Control

Zhuotong Chen, Qianxiao Li+1 more|arXiv (Cornell University)|Jun 26, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、攻撃の種別について事前の知識がなくても、予期せぬ摂動や攻撃によって引き起こされるエラーを自動で検出し是正する、ポストトレーニングで閉ループ制御を行う自己修復ニューラルネットワークのフレームワークを提案する。ポントレヤーギンの最大原理とマージンに基づく解析を活用することで、ℓ₁、ℓ₂、ℓ∞ などの多様な摂動タイプに対して一貫した60%以上の精度向上を達成し、CIFAR-10 における AutoAttack に対して優位な性能を発揮する。

ABSTRACT

Despite the wide applications of neural networks, there have been increasing concerns about their vulnerability issue. While numerous attack and defense techniques have been developed, this work investigates the robustness issue from a new angle: can we design a self-healing neural network that can automatically detect and fix the vulnerability issue by itself? A typical self-healing mechanism is the immune system of a human body. This biology-inspired idea has been used in many engineering designs but is rarely investigated in deep learning. This paper considers the post-training self-healing of a neural network, and proposes a closed-loop control formulation to automatically detect and fix the errors caused by various attacks or perturbations. We provide a margin-based analysis to explain how this formulation can improve the robustness of a classifier. To speed up the inference of the proposed self-healing network, we solve the control problem via improving the Pontryagin Maximum Principle-based solver. Lastly, we present an error estimation of the proposed framework for neural networks with nonlinear activation functions. We validate the performance on several network architectures against various perturbations. Since the self-healing method does not need a-priori information about data perturbations/attacks, it can handle a broad class of unforeseen perturbations.

研究の動機と目的

• 実世界の展開において、予期せぬデータの摂動やハードウェア障害に起因するニューラルネットワークの脆弱性という重要な課題に対処すること。
• 攻撃タイプやデータ分布に関する事前仮定に依存する既存の防御手法の限界を克服すること。
• 制御理論的原則を用いて、エラーの自動検出と是正を実現する、ポストトレーニングにおける耐性強化を可能とすること。
• 生物学的免疫系にインspiredされた自己修復メカニズムを設計し、標準的およびロバストにトレーニングされたモデルの両方に適用可能とすること。
• 特定の攻撃モデルやデータ特性に依存しないようにすることで、多様で未知の摂動への広範な適用可能性を確保すること。

提案手法

• 入力層および隠れ層における埋め込み関数が、リアルタイムで潜在的なエラーを検出する閉ループ制御システムを定式化する。
• ポントレヤーギンの最大原理から導出された制御損失関数を用いて、検出されたエラーを是正するためのニューロン活性の調整を実装する。
• マージンに基づく解析を用いて、制御機構が意思決定境界のマージンを拡大することを理論的に正当化し、耐性の向上を裏付ける。
• 逐次近似法を用いて最適制御問題の数値ソルバーを高速化することで、推論速度を向上させる。
• 入力データをロバストな多様体上に射影するように学習された、2層のノイズ除去オートエンコーダとしての埋め込み関数を設計する。
• 再トレーニングを必要とせず、事前トレーニング済みモデルに制御機構を統合することで、後から耐性を強化できる。

実験結果

リサーチクエスチョン

• RQ1 未知または予期せぬ摂動によって引き起こされるエラーを、ポストトレーニング段階で自己修復可能な閉ループ制御フレームワークが実現可能かどうか。
• RQ2 攻撃タイプやデータ分布に関する事前知識がなくても、提案された制御機構がどのように耐性を向上させるか。
• RQ3 マージンに基づく制御定式化が、異なる摂動ノルム（ℓ₁、ℓ₂、ℓ∞）に対して分類器の一般化性と耐性をどの程度向上させるか。
• RQ4 攻撃者が制御機構を完全に把握している白箱設定下でも、この手法はどの程度有効であるか。
• RQ5 ポントレヤーギンの最大原理に基づく最適制御が、実用的な展開の可能性を維持する上で推論時間に効率的に解けるか。

主な発見

• 提案された自己修復フレームワークは、CIFAR-10 において標準モデルで AutoAttack の ℓ∞、ℓ₂、ℓ₁ 摂動に対して60%以上の精度を達成し、ロバストにトレーニングされたモデルでは50%以上を記録する。
• ResNet-18 では、ℓ∞-PGD 攻撃（ε=8/255）で87.04%、ℓ₁ 攻撃（ε=12）で73.04%の精度を達成し、制御なしのベースライン（0%）を著しく上回る。
• 白箱設定下でも、攻撃者が制御機構を把握している場合でも、AutoAttack 条件下で敵対的に訓練されたベースラインより平均で0.5%〜1%の精度向上を達成する。
• 2層のノイズ除去オートエンコーダとしての埋め込み関数の使用により、効果的な多様体学習が可能となり、隠れ表現における摂動の検出と是正が可能になる。
• 複数のアーキテクチャ（ResNet-18, -34, -50, WRN-28-8, WRN-34-8）にわたって高い性能を維持しており、広範な適用可能性と一般化能力を示している。
• 理論的解析により、制御損失が分類器のマージンを拡大することを確認し、耐性向上の根拠となる原理的説明が得られた。