[논문 리뷰] Self-Healing Robust Neural Networks via Closed-Loop Control

Zhuotong Chen, Qianxiao Li외 1명|arXiv (Cornell University)|2022. 06. 26.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 사전 공격 유형에 대한 지식 없이도 예기치 않은 교란이나 공격으로 인한 오류를 자동으로 탐지하고 수정할 수 있는 후기 훈련, 피드백 루프 제어 프레임워크를 제안한다. 폰트리아긴의 최대 원리와 마진 기반 분석을 활용하여, ℓ₁, ℓ₂, ℓ∞ 유형의 다양한 교란에 대해 일관되게 60% 이상의 정확도 향상을 이끌어내며 CIFAR-10에서 AutoAttack에 대비한 강건성을 향상시킨다.

ABSTRACT

Despite the wide applications of neural networks, there have been increasing concerns about their vulnerability issue. While numerous attack and defense techniques have been developed, this work investigates the robustness issue from a new angle: can we design a self-healing neural network that can automatically detect and fix the vulnerability issue by itself? A typical self-healing mechanism is the immune system of a human body. This biology-inspired idea has been used in many engineering designs but is rarely investigated in deep learning. This paper considers the post-training self-healing of a neural network, and proposes a closed-loop control formulation to automatically detect and fix the errors caused by various attacks or perturbations. We provide a margin-based analysis to explain how this formulation can improve the robustness of a classifier. To speed up the inference of the proposed self-healing network, we solve the control problem via improving the Pontryagin Maximum Principle-based solver. Lastly, we present an error estimation of the proposed framework for neural networks with nonlinear activation functions. We validate the performance on several network architectures against various perturbations. Since the self-healing method does not need a-priori information about data perturbations/attacks, it can handle a broad class of unforeseen perturbations.

연구 동기 및 목표

• 실제 환경에서의 예측 불가능한 데이터 교란 및 하드웨어 고장으로 인한 신경망 취약성 문제를 해결한다.
• 공격 유형이나 데이터 분포에 대한 사전 가정에 의존하는 기존 방어 방법의 한계를 극복한다.
• 제어 이론 원리를 활용해 자율적인 오류 탐지 및 수정을 통해 후기 훈련 시 강건성 향상을 실현한다.
• 생물학적 면역 체계를 영감으로 삼아 표준 모델과 강건하게 훈련된 모델 모두에 적용 가능한 자기 치유 메커니즘을 설계한다.
• 특정 공격 모델이나 데이터 특성에 의존하지 않도록 하여 다양한 미지의 교란에 광범위하게 적용 가능하도록 보장한다.

제안 방법

• 입력 및 히든 레이어의 임bedding 함수를 활용해 실시간으로 잠재적인 오류를 탐지하는 피드백 루프 제어 시스템을 수립한다.
• 폰트리아긴의 최대 원리를 기반으로 유도된 제어 손실 함수를 통해 탐지된 오류를 수정하기 위해 뉴런 활성화를 조정하는 제어 과정을 구현한다.
• 마진 기반 분석을 통해 제어 메커니즘이 결정 경계의 마진을 증가시켜 강건성을 향상시킨다는 이론적 근거를 제시한다.
• 순차적 근사 방법을 활용해 최적 제어 문제의 수치적 해법을 개선함으로써 추론 속도를 향상시킨다.
• 입력을 강건한 다양체 위로 투영하여 교란 하에서도 분류 성능를 유지하도록 학습된 노이즈 제거 오토인코더로 임베딩 함수를 설계한다.
• 재훈련 없이 사전 훈련된 모델에 제어 메커니즘을 통합하여 후기 훈련 기반의 강건성 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 피드백 루프 제어 프레임워크는 사전에 알려지지 않은 또는 예측 불가능한 교란으로 인한 오류를 수정할 수 있는 후기 훈련 시 자기 치유 기능을 제공할 수 있는가?
• RQ2 제안된 제어 메커니즘은 공격 유형이나 데이터 분포에 대한 사전 지식 없이도 강건성을 어떻게 향상시키는가?
• RQ3 마진 기반 제어 공식화는 다양한 교란 노름(ℓ₁, ℓ₂, ℓ∞)에 걸쳐 분류기의 일반화 및 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 공격자가 제어 메커니즘을 완전히 알고 있는 화이트박스 환경에서 이 방법의 효과는 어떠한가?
• RQ5 폰트리아긴의 최대 원리를 통한 최적 제어는 추론 시간에 효율적으로 해결될 수 있는가? 실용적인 구현 가능성을 유지할 수 있는가?

주요 결과

• 제안된 자기 치유 프레임워크는 AutoAttack에 대해 ℓ∞, ℓ₂, ℓ₁ 교란에 대해 강건성을 향상시키며, 표준 모델의 경우 CIFAR-10에서 60% 이상의 정확도를 달성하고, 강건하게 훈련된 모델의 경우 50% 이상을 기록한다.
• ResNet-18에서 ℓ∞-PGD 공격(ε=8/255) 하에서는 87.04%의 정확도를 기록하고, ℓ₁-공격(ε=12) 하에서는 73.04%의 정확도를 달성하여, 제어 기능이 없는 기준 모델의 0% 정확도에 비해 뚜렷한 우수성을 보였다.
• 화이트박스 환경에서 공격자가 제어 메커니즘을 모두 알고 있는 상황에서도, AutoAttack 하에서 적대적으로 훈련된 기준 모델 대비 평균 0.5%~1%의 정확도 향상을 기록했다.
• 2층의 노이즈 제거 오토인코더로 구성된 임베딩 함수는 효과적인 다양체 학습을 가능하게 하여 제어 시스템이 히든 표현에서의 교란을 탐지하고 수정할 수 있도록 했다.
• 여러 아키텍처(ResNet-18, -34, -50, WRN-28-8, WRN-34-8)에서 높은 성능 유지를 기록하여 광범위한 적용 가능성과 일반화 능력을 입증했다.
• 이론적 분석을 통해 제어 손실이 분류기의 마진을 증가시킴을 확인하여 강건성 향상의 체계적인 설명을 제공했다.