[논문 리뷰] Geometric robustness of deep networks: analysis and improvement

Can Kanbak, Seyed-Mohsen Moosavi-Dezfooli외 1명|arXiv (Cornell University)|2017. 11. 24.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 9

한 줄 요약

이 논문은 분류기를 속이는 최소의 적대적 변환을 찾는 것으로, 딥 네ural 네트워크의 기하학적 내성에 대한 측정과 향상을 위한 확장 가능한 알고리즘인 ManiFool을 소개한다. 기하학적 변환의 다양체 위에서 경사 하강법을 수행함으로써 ManiFool은 가장 악성인 변환을 식별하고, 이러한 예제를 사용한 적대적 훈련은 worst-case 및 무작위 기하학적 변환에 대한 내성을 크게 향상시킨다. CIFAR-10에서 오류 분류율이 20% 이상 감소하였다.

ABSTRACT

Deep convolutional neural networks have been shown to be vulnerable to arbitrary geometric transformations. However, there is no systematic method to measure the invariance properties of deep networks to such transformations. We propose ManiFool as a simple yet scalable algorithm to measure the invariance of deep networks. In particular, our algorithm measures the robustness of deep networks to geometric transformations in a worst-case regime as they can be problematic for sensitive applications. Our extensive experimental results show that ManiFool can be used to measure the invariance of fairly complex networks on high dimensional datasets and these values can be used for analyzing the reasons for it. Furthermore, we build on Manifool to propose a new adversarial training scheme and we show its effectiveness on improving the invariance properties of deep neural networks.

연구 동기 및 목표

• 실세계 응용에서 딥 네트워크의 기하학적 변환에 대한 내성 측정을 위한 체계적인 방법이 부족한 문제를 해결하기 위해.
• 최소의 적대적 변환을 유도하는, 확장 가능한 다양체 기반 알고리즘을 개발하기 위해.
• ImageNet으로 훈련된 네트워크가 악성 및 무작위 기하학적 변환에 얼마나 취약한지 평가하기 위해.
• 제안된 방법으로 생성된 악성 변환을 사용한 적대적 훈련을 통해 네트워크의 내성을 향상시키기 위해.

제안 방법

• ManiFool은 기하학적 변환의 다양체(예: 애핀, 투사) 위에서 경사 하강법을 수행하여 딥 네트워크의 분류기를 속이는 최소의 변환을 찾는다.
• 알고리즘은 변환을 매개변수의 벡터로 매개변수화하고, 다양체 위에서 변환 크기를 측정하기 위해 지측 거리 척도를 사용한다.
• 정확한 클래스의 신뢰도를 최소화하면서도 변환 그룹의 다양체 내에 머무르도록 매개변수를 반복적으로 갱신한다.
• 내성 점수는 데이터셋 전체에 걸쳐 네트워크를 속이기 위해 필요한 최소 변환 크기의 평균으로 정의된다.
• 적대적 훈련은 ManiFool이 발견한 가장 악성인 변환된 예제를 기반으로 네트워크를 미세 조정함으로써 수행된다.
• 이 방법은 ResNet, VGG, AlexNet 아키텍처를 사용하여 ImageNet과 CIFAR-10에서 평가되었다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 기하학적 내성에 대해 가장 악성인 기하학적 내성을 체계적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 ImageNet으로 훈련된 네트워크는 작은, 눈에 띄지 않는 기하학적 변환에 얼마나 취약한가?
• RQ3 ManiFool이 생성한 악성 기하학적 변환을 사용한 적대적 훈련은 악성 및 무작위 내성 모두를 향상시킬 수 있는가?
• RQ4 다양한 네트워크 아키텍처는 기하학적 변환 하에서 어떻게 내성 수준을 비교할 수 있는가?

주요 결과

• ManiFool은 복잡한 네트워크와 고차원 데이터셋에서 기하학적 내성 측정에 성공적으로 활용되었으며, 심지어 최첨단 모델이라도 작은, 눈에 띄지 않는 변환에 취약함을 드러냈다.
• 정확도가 유사한데도 불구하고, ResNet-34와 ResNet-50는 VGG 네트워크보다 무작위 변환에 더 뛰어난 내성을 보였다.
• ManiFool이 생성한 예제를 사용한 적대적 훈련으로 인해, CIFAR-10에서 ResNet-18의 내성 점수는 기준값 1.10에서 한 에포크 후 1.78로 상승했다.
• 지측 거리 2.5인 무작위 애핀 변환에 대한 오류 분류율은 적대적 미세 조정 후 20% 이상 감소했다.
• 이 방법은 악성 변환 뿐 아니라 무작위 변환에 대해서도 내성을 향상시켜 일반화의 이점이 있음을 시사했다.
• 테스트 정확도가 0.6% 감소했지만, 기하학적 내성 향상의 성과가 크기 때문에 이 교환은 유리한 편이다.