[논문 리뷰] Robust Learning with Jacobian Regularization

Judy Hoffman, Daniel A. Roberts외 1명|arXiv (Cornell University)|2019. 08. 07.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 41

한 줄 요약

이 논문은 입력-출력 야코비(Frobenius 노름)를 최소화하는 Jacobian 정규화를 도입하여 신경망이 무작위 및 적대적 입력 섭동에 대해 더 강해지도록 하면서 깨끗한 데이터에서의 성능을 유지합니다.

ABSTRACT

Design of reliable systems must guarantee stability against input perturbations. In machine learning, such guarantee entails preventing overfitting and ensuring robustness of models against corruption of input data. In order to maximize stability, we analyze and develop a computationally efficient implementation of Jacobian regularization that increases classification margins of neural networks. The stabilizing effect of the Jacobian regularizer leads to significant improvements in robustness, as measured against both random and adversarial input perturbations, without severely degrading generalization properties on clean data.

연구 동기 및 목표

• 입력 섭동과 과적합에 대한 학습 시스템의 강건성을 고취한다.
• 분류 마진을 확장하는 계산적으로 효율적인 Jacobian 정규화를 제안한다.
• Jacobian 정규화가 깨끗한 데이터 성능을 해치지 않으면서 무작위 및 적대적 섭동에 대한 강건성을 향상시킴을 보인다.
• Jacobian 페널티를 위한 효율적인 SGD 호환 알고리즘을 제공한다.
• 기존의 정규화 기법 및 도메인 적응 접근법과의 방법의 호환성을 입증한다.

제안 방법

• 입력-출력 야코비안을 정의하고 Frobenius 노름을 최소화하는 것을 강건성 목표로 삼는 것을 정당화한다.
• 제트 Jacobian 정규화를 학습 손실에 L_joint = L_bare + (lambda_JR/2) * (1/|B|) sum_{alpha in B} ||J(x^alpha)||_F^2로 통합한다.
• SGD 파이프라인 내에서 Jacobian 노름과 기울기를 추정하기 위해 무작위 투영을 사용하는 효율적인 근사 알고리즘을 제안한다.
• 참고용으로 Jacobian을 통해 역전파하는 정확한 그래디언트 대안을 제공한다(비용이 더 높다).
• 수렴을 분석하고 정확한 방법과 근사 방법의 경험적 차이가 거의 없음을 보인다.
• 다른 정규화 기법과 결합했을 때 USPS 등 도메인 일반화 및 화이트 노이즈, 적대적 공격(FGSM, PGD, CW)에 대한 강건성이 향상됨을 MNIST의 LeNet’으로 평가한다.

실험 결과

연구 질문

• RQ1 Jacobian 정규화가 비선형 네트워크의 분류 마진을 증가시키고 결정 경계를 안정시키는가?
• RQ2 SGD에서 입력-출력 야코비안의 Frobenius 노름을 비례적인 과도한 오버헤드 없이 효율적으로 최소화할 수 있는가?
• RQ3 Jacobian 정규화가 무작위 입력 노이즈와 적대적 섭동(FGSM, PGD, CW)에 대한 강건성을 향상시키면서도 깨끗한 데이터 정확도를 해치지 않는가?
• RQ4 Jacobian 정규화가 L2, dropout 같은 다른 정규화 기법 및 도메인 적응 기법과 어떻게 상호 작용하는가?
• RQ5 근사적 무작위 투영 구현이 실제로 정확한 Jacobian 정규화와 효율적으로 동등한가?

주요 결과

• Jacobian 정규화는 결정 셀을 확장하고 비선형 네트워크의 불안정성을 줄여주며, 표준 L2는 스무딩은 하지만 여전히 마진을 확장하지는 않는다는 점에서 차이가 있다.
• MNIST의 LeNet’으로 학습했을 때 Jacobian 정규화는 깨끗한 데이터 정확도는 유사하게 유지하면서도 Jacobian 노름이 현저히 작다.
• Jacobian 정규화는 다른 정규화 기법보다 화이트 노이즈에 대한 강건성을 더 효과적으로 향상시키고, 단독으로 사용했을 때 기본 adversarial 방어보다 우수하다.
• Jacobian 정규화의 근사적 무작위 투영 구현은 정확한 방법과 정확도 및 Jacobian 크기에서 거의 일치하며 계산 오버헤드는 약간에 그친다.
• Jacobian을 포함한 정규화 기법은 L2 및 dropout과 단독 혹은 조합하여 MNIST에서 학습될 때 보지 못한 도메인(예: USPS)에 대한 일반화 성능을 향상시킬 수 있다.