[논문 리뷰] Manifold Regularization for Locally Stable Deep Neural Networks

Charles Jin, Martin Rinard|arXiv (Cornell University)|2020. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 10

한 줄 요약

이 논문은 깊이 있는 신경망을 국소적으로 안정적으로 훈련시키기 위한 새로운 정규화 기법을 제안한다. 이 기법은 희소 그래프 라플라시안 근사에 기반한 다양체 정규화를 사용한다. ReLU 네트워크의 조각별 선형 구조를 활용하고 훈련 중에 무작위 점을 샘플링함으로써, CIFAR-10에서 ℓ∞ 노이즈 크기 ε=8/255에 대해 기존 최고 수준의 검증 가능 강건성 정확도 21%를 달성한다. 계산 오버헤드는 세 번의 순방향 전파 수준과 유사하다.

ABSTRACT

We apply concepts from manifold regularization to develop new regularization techniques for training locally stable deep neural networks. Our regularizers are based on a sparsification of the graph Laplacian which holds with high probability when the data is sparse in high dimensions, as is common in deep learning. Empirically, our networks exhibit stability in a diverse set of perturbation models, including $\ell_2$, $\ell_\infty$, and Wasserstein-based perturbations; in particular, we achieve 40% adversarial accuracy on CIFAR-10 against an adaptive PGD attack using $\ell_\infty$ perturbations of size $ε= 8/255$, and state-of-the-art verified accuracy of 21% in the same perturbation model. Furthermore, our techniques are efficient, incurring overhead on par with two additional parallel forward passes through the network.

연구 동기 및 목표

• 반복적인 적대적 훈련이 필요 없이 국소적 안정성과 강건성을 향상시키는 정규화 전용 방어 기법을 개발한다.
• 고차원 공간에서 데이터가 저차원 부분다양체 위에 존재한다는 다각도 가정을 활용하여 일반화 능력과 강건성을 향상시킨다.
• ReLU 네트워크의 조각별 선형 성질을 활용하여 출력과 결정 경계 모두에서 부드러움을 강제하는 효율적인 정규화 기법을 설계한다.
• ℓ₂, ℓ∞, 워샤프 기반 공격 등 다양한 유형의 노이즈에 대해 강력한 강건성을 확보하면서도 계산 비용을 낮춘다.
• 훈련 중에 내부 최적화 루프가 필요 없이도 다양체 정규화가 최고 수준의 검증 가능 강건 정확도를 달성할 수 있음을 입증한다.

제안 방법

• k-최근접 이웃 또는 ε-공을 기반으로 한 희소 그래프 라플라시안 근사를 사용하여 데이터 다양체의 내재 기하학을 모델링한다.
• 이산 그래프 라플라시안에 기반한 정규화 기법을 도입하여, 네트워크 출력이 다양체 상에서 부드럽게 유지되도록 유도하며, 국소 이웃에서의 변동을 최소화한다.
• 정규화 기법은 각 훈련 샘플에 대해 추가로 두 개의 무작위 점에서 네트워크를 평가하여 계산하며, 적대적 최적화가 필요 없도록 한다.
• ReLU 네트워크의 연속적인 조각별 선형 구조를 명시적으로 활용하여, 출력 뿐만 아니라 결정 경계의 부드러움까지 보장한다.
• 표준 교차 엔트로피 손실과 다양체 정규화 기법을 조합한 훈련 목표 함수를 사용하며, 이는 미분 가능하고 대규모 모델에 대해 확장 가능하다.
• 이 방법은 계산적으로 효율적이며, 샘플당 추가로 두 번의 순방향 전파 비용만 발생시켜 확장성이 뛰어나고 대규모 훈련에 적합하다.

실험 결과

연구 질문

• RQ1 다양체 정규화가 깊이 있는 신경망에 효과적으로 적용되어 적대적 노이즈에 대한 국소적 안정성과 강건성을 향상시킬 수 있는가?
• RQ2 정규화 전용 접근법이 훈련 비용을 줄이며 적대적 훈련과 비슷하거나 뛰어난 강건성을 달성할 수 있는가?
• RQ3 무작위 샘플링 기반의 희소 그래프 라플라시안 근사가 반복적인 적대적 공격 생성 없이도 강력한 강건성을 달성할 수 있는가?
• RQ4 제안된 정규화 기법이 ℓ₂, ℓ∞, 워샤프 기반 공격 등 다양한 유형의 노이즈에 대해 얼마나 강건성을 향상시키는가?
• RQ5 이 방법이 CIFAR-10에서 ℓ∞ 노이즈 크기 ε=8/255에 대해 최고 수준의 검증 가능 강건 정확도를 달성할 수 있는가?

주요 결과

• 이 방법은 CIFAR-10에서 ℓ∞ 노이즈 크기 ε=8/255에 대해 검증 가능 강건 정확도 21%를 달성하여, 검증 방어 기법 분야에서 새로운 최고 기록을 수립한다.
• 표준 PGD 적대적 공격에 대해 ℓ∞ 노이즈 크기 ε=8/255에서 40.54%의 강건 정확도를 확보하였으며, 적대적 훈련을 통해 훈련된 모델과 유사한 성능을 보였다.
• 일반화 능력이 뛰어나, AutoAttack(ℓ₂ 및 ℓ∞ 공격의 강력한 앙상블)에 대해 57.53%의 강건 정확도를 기록하였고, 워샤프 기반 노이즈에 대해서는 66.02%의 강건 정확도를 달성하였다.
• 계산 비용은 극히 낮으며, 배치당 세 번의 순방향 전파 수준에 해당하여, 표준 PGD 기반 적대적 훈련보다 약 10배 빠르다.
• ℓ₂, ℓ∞, 시각적으로 일치하는 워샤프 기반 공격 등 다양한 노이즈 모델에 대해 강건성을 보이며 광범위한 국소적 안정성을 입증하였다.
• 이 방법은 표준 적대적 훈련과 경쟁 가능한 성능을 달성하면서도 강력한 검증 가능 강건성을 유지하는 최초의 정규화 전용 접근법이다.