[논문 리뷰] Learning to Generate Noise for Robustness against Multiple Perturbations.

Divyam Madaan, Jinwoo Shin외 1명|arXiv (Cornell University)|2020. 06. 22.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 여러 종류의 교란 유형을 동시에 견딜 수 있도록 모델의 강건성을 향상시키기 위해 악성 노이즈를 생성하는 메타학습 프레임워크인 메타 노이즈 생성기(Meta Noise Generator, MNG)를 제안한다. 학습 중에 공격을 무작위로 샘플링함으로써 MNG는 모든 교란 유형을 동시에 학습하는 것에 비해 최소한의 계산 부담으로 다양한 알려지지 않은 교란 유형에 대해 뛰어난 방어 성능을 달성한다.

ABSTRACT

Adversarial learning has emerged as one of the successful techniques to circumvent the susceptibility of existing methods against adversarial perturbations. However, the majority of existing defense methods are tailored to defend against a single category of adversarial perturbation (e.g. $\ell_\infty$-attack). In safety-critical applications, this makes these methods extraneous as the attacker can adopt diverse adversaries to deceive the system. To tackle this challenge of robustness against multiple perturbations, we propose a novel meta-learning framework that explicitly learns to generate noise to improve the model's robustness against multiple types of attacks. Specifically, we propose Meta Noise Generator (MNG) that outputs optimal noise to stochastically perturb a given sample, such that it helps lower the error on diverse adversarial perturbations. However, training on multiple perturbations simultaneously significantly increases the computational overhead during training. To address this issue, we train our MNG while randomly sampling an attack at each epoch, which incurs negligible overhead over standard adversarial training. We validate the robustness of our framework on various datasets and against a wide variety of unseen perturbations, demonstrating that it significantly outperforms the relevant baselines across multiple perturbations with marginal computational cost compared to the multiple perturbations training.

연구 동기 및 목표

• 기존의 방어 방법이 단일 유형의 악성 교란 유형에 대해서만 효과를 보이는 한계를 해결하기 위해.
• 공격자가 다양한 교란 전략을 사용할 수 있는 안전이 중요한 응용 분야에서의 강건성을 향상시키기 위해.
• 다양한 공격 유형에 걸쳐 알려지지 않은 교란 유형으로 일반화 가능한 방어 프레임워크를 개발하기 위해.
• 다양한 교란 유형에 대해 강건성을 유지하면서도 훈련 중 계산 비용을 줄이기 위해.

제안 방법

• 제안된 메타 노이즈 생성기(MNG)는 입력 샘플을 확률적으로 교란시켜 강건성을 향상시키는 최적의 노이즈를 학습하여 생성한다.
• MNG는 각 훈련 에포크마다 다른 공격이 무작위로 샘플링되는 메타학습 프레임워크를 사용하여 훈련된다.
• 노이즈 생성을 통해 다양한 악성 교란 유형에 걸쳐 오차를 낮추는 방식으로 모델 예측의 안정성을 높임으로써 최적화된다.
• 노이즈 생성 과정은 미분 가능하므로 표준 역전파 알고리즘을 사용한 엔드 투 엔드 훈련이 가능하다.
• 이 방법은 모든 교란 유형을 동시에 합쳐서 훈련하는 것을 피함으로써 계산 부담을 줄인다.
• 훈련 중에 공격을 무작위로 샘플링하여 다중 교란에 대한 강건성을 효율적으로 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 단일 방어 프레임워크가 다양한 종류의 악성 교란 유형에 대해 강건성을 확보할 수 있는가?
• RQ2 메타학습 기반의 노이즈 생성기의 성능은 다수의 교란 유형에 대해 표준 악성 훈련과 비교해 어떻게 되는가?
• RQ3 제안된 방법을 사용해 다수의 교란 유형에 대비한 모델을 훈련할 경우, 전체 교란 유형을 동시에 학습하는 것과 비교해 계산 비용은 얼마나 되는가?
• RQ4 MNG로 훈련된 모델은 훈련 중에 볼 수 없었던 새로운 교란 유형으로 일반화되는가?
• RQ5 훈련 중에 공격을 무작위로 샘플링하는 것이 다중 교란에 대한 강건성을 효과적으로 시뮬레이션할 수 있는가?

주요 결과

• MNG 프레임워크는 다양한 교란 유형에 걸쳐 기존 베이스라인보다 뚜렷이 뛰어난 강건성을 확보한다.
• 훈련 중에 포함되지 않은 새로운 교란 유형에 대해서도 뛰어난 일반화 능력을 보이며, 강건성이 유지된다.
• 모든 교란 유형을 동시에 학습하는 것에 비해 MNG의 계산 비용은 극히 미미하다.
• 훈련 중에 공격을 무작위로 샘플링하는 것이 다중 교란에 대한 강건성을 효과적으로 제공하며, 거의 무시할 수 없는 부담을 유발한다.
• 훈련 분포에 포함되지 않은 교란 유형에 대해서도 MNG 프레임워크는 여전히 높은 강건성을 유지한다.