[논문 리뷰] Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness

Fanny Yang, Zuowen Wang외 1명|arXiv (Cornell University)|2019. 01. 01.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 변환군에서 악성으로 선택된 악성 공간 변환을 사용하여 예측 정확도와 공간적 내성 향상을 위한 새로운 불변성 유도 정규화 방법을 제안한다. 변환군으로부터 악성으로 선택된 변환을 통해 훈련함으로써, CIFAR-10에서 상대 오차를 20% 감소시키고 SVHN에서 표준 정확도를 향상시켜 정확도와 내성 간의 상충관계 없이 성능 향상을 달성한다.

ABSTRACT

This work provides theoretical and empirical evidence that invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations (spatial robustness). Evaluated on these adversarially transformed examples, standard and adversarial training with such regularizers achieves a relative error reduction of 20% for CIFAR-10 with the same computational budget. This even surpasses handcrafted spatial-equivariant networks. Furthermore, we observe for SVHN, known to have inherent variance in orientation, that robust training also improves standard accuracy on the test set. We prove that this no-trade-off phenomenon holds for adversarial examples from transformation groups.

연구 동기 및 목표

• 악성 공간 변형에 대한 딥 네ural 네트워크의 공간 내성 부족 문제를 해결하기 위해.
• 최악의 변환을 사용한 불변성 유도 정규화가 정확도와 내성 양쪽을 향상시킬 수 있는지 조사하기 위해.
• 정확도와 내성 간의 상충관계가 발생하지 않는 이론적 및 실증적 조건을 규명하기 위해.
• CIFAR-10 및 SVHN과 같은 벤치마크 데이터셋에서 이 정규화의 효과를 평가하기 위해.

제안 방법

• 변환군 내 최악의 공간 변환에 대한 모델 불변성을 명시적으로 유도하는 정규화자를 도입한다.
• 최악의 변환은 모델의 예측 오차를 최대화하도록 악성으로 선택되어 정규화를 위한 어려운 예제 세트를 형성한다.
• 정규화자는 표준 훈련 및 악성 훈련 목표 함수에 통합되어 청소된 데이터와 최악의 상황 모두에 대한 내성을 최적화한다.
• 이론적 분석을 통해 변환군의 구조 하에서 정규화자가 표준 정확도와 내성 간의 상충관계 없이 작용할 수 있음을 증명한다.
• 회전, 이동 등의 공간 변환의 군 이론적 성질을 활용하여 최악의 변형을 정의한다.

실험 결과

연구 질문

• RQ1 최악의 공간 변환을 사용한 불변성 유도 정규화가 표준 정확도를 희생시키지 않고 모델의 내성을 향상시킬 수 있는가?
• RQ2 제안된 방법이 정확도 및 내성 측면에서 수작업으로 설계된 공간 등변성 네트워크를 능가하는가?
• RQ3 정확도와 내성 간의 상충관계가 발생하는 조건은 무엇인가?
• RQ4 SVHN처럼 본질적으로 공간 변동성이 존재하는 데이터셋에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 정규화는 최악의 공간 변환 하에서 CIFAR-10에서 상대 오차를 20% 감소시키며, 표준 훈련과 동일한 계산 예산을 사용한다.
• 이 방법은 CIFAR-10에서 수작업으로 설계된 공간 등변성 네트워크보다 정확도와 공간 내성 양면에서 뛰어나다.
• SVHN에서는 정규화를 사용한 내성 훈련이 표준 테스트 세트 정확도를 향상시켜 상충관계가 없는 현상이 나타남을 시사한다.
• 이론적 분석을 통해 변환군에서 유도된 악성 예제에 대해서도 상충관계가 없는 현상이 성립함을 확인한다.