[논문 리뷰] Model-Based Robust Deep Learning.

Alexander Robey, Hamed Hassani외 1명|arXiv (Cornell University)|2020. 05. 20.

Adversarial Robustness in Machine Learning참고 문헌 83인용 수 21

한 줄 요약

이 논문은 광선 및 날씨와 같은 자연적 데이터 변형에 대한 강건성을 향상시키는 모델 기반 강건한 딥 러닝을 소개한다. 이는 공격자에 의한 변형에서의 강건성에서 자연적 데이터 변형으로의 패러다임 전환을 의미한다. 자연적 변형의 알려진 모델 또는 학습된 모델을 이용하여 저자들은 세 가지 새로운 학습 알고리즘을 제안하며, 이는 다양한 실제 환경 조건에서 딥 뉴럴 네트워크의 정확도를 크게 향상시킨다. 이는 표준 학습 및 노름 기반 강건성 학습 방법보다도 뛰어나다.

ABSTRACT

While deep learning has resulted in major breakthroughs in many application domains, the frameworks commonly used in deep learning remain fragile to artificially-crafted and imperceptible changes in the data. In response to this fragility, adversarial training has emerged as a principled approach for enhancing the robustness of deep learning with respect to norm-bounded perturbations. However, there are other sources of fragility for deep learning that are arguably more common and less thoroughly studied. Indeed, natural variation such as lighting or weather conditions can significantly degrade the accuracy of trained neural networks, proving that such natural variation presents a significant challenge for deep learning. In this paper, we propose a paradigm shift from perturbation-based adversarial robustness toward {\em model-based robust deep learning}. Our objective is to provide general training algorithms that can be used to train deep neural networks to be robust against natural variation in data. Critical to our paradigm is first obtaining a \emph{model of natural variation} which can be used to vary data over a range of natural conditions. Such models may be either known a priori or else learned from data. In the latter case, we show that deep generative models can be used to learn models of natural variation that are consistent with realistic conditions. We then exploit such models in three novel model-based robust training algorithms in order to enhance the robustness of deep learning with respect to the given model. Our extensive experiments show that across a variety of naturally-occurring conditions and across various datasets, deep neural networks trained with our model-based algorithms significantly outperform both standard deep learning algorithms as well as norm-bounded robust deep learning algorithms.

연구 동기 및 목표

• 공격자에 의한 변형보다 더 흔한 광선, 날씨 및 환경 조건의 변화와 같은 자연적 변형에 취약한 딥 뉴럴 네트워크의 취약성을 해결한다.
• 현재의 공격자 기반 강건성 방법이 실제 발생하는 자연적 데이터 변형을 다루기에 부적절하다는 점을 규명한다.
• 실제로 발생하는 데이터 기반의 변형에 강건해지도록 하는 새로운 패러다임인 모델 기반 강건한 딥 러닝을 제안한다.
• 실제 환경에서의 일반화 및 강건성을 향상시키기 위해 자연적 변형의 명시적 모델을 활용하는 학습 알고리즘을 개발한다.
• 다양한 데이터셋과 환경 조건에서 모델 기반 학습이 표준 학습 및 노름 기반 공격자 기반 학습보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 실제 물리적 모델 또는 데이터 분포에 기반해 학습된 딥 생성 모델을 사용하여 자연적 데이터 변형을 모델링하는 프레임워크를 개발한다.
• 학습된 또는 사전 정의된 자연적 변형 모델을 사용하여 실제 환경 조건을 반영한 다양한 훈련 데이터를 합성한다.
• 백프로파게이션 중에 변형 모델을 통합하여 자연적 변형에 대한 일반화 능력을 향상시키는 세 가지 새로운 강건한 학습 알고리즘을 설계한다.
• 변형 모델을 훈련 루프에 통합하여 모델에서 변형된 데이터 포인트를 샘플링하고, 네트워크가 이러한 실제적인 변화에 불변성을 가지도록 최적화한다.
• 실제 데이터 분포에서 훈련하여 변형 모델이 실제 세계 데이터와 일관성을 유지하도록 하여 고차원적이고 복잡한 자연적 이동을 포착할 수 있도록 한다.
• 다양한 벤치마크 데이터셋에서 표준 딥 러닝 아키텍처에 적용하여 자연 조건 하에서의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 모델 기반 접근을 통해 광선, 날씨 및 센서 조건의 변화와 같은 자연적 변형에 강건한 딥 뉴럴 네트워크를 만들 수 있는가?
• RQ2 실제 데이터 변형 조건 하에서 모델 기반 강건한 학습은 표준 학습 및 노름 기반 공격자 기반 학습보다 얼마나 강건한가?
• RQ3 학습된 딥 생성 모델이 강건한 학습에 활용하기 위해 자연적 데이터 변형을 효과적으로 포착하고 표현할 수 있는가?
• RQ4 명시적인 자연적 변형 모델을 통합함으로써 공격자 기반 학습만으로는 얻을 수 없는, 실제 테스트 데이터에서의 더 나은 일반화 및 성능 향상이 이루어지는가?
• RQ5 제안된 학습 알고리즘이 다양한 데이터셋과 환경 조건에서 일관된 강건성 향상을 달성할 수 있는가?

주요 결과

• 제안된 모델 기반 강건한 학습 알고리즘을 사용해 훈련한 딥 뉴럴 네트워크는 다양한 데이터셋에서 자연적 환경 변화 조건 하에서도 표준 학습보다 훨씬 높은 정확도를 달성한다.
• 모델 기반 접근은 노름 기반 공격자 기반 학습을 뛰어넘어, 날씨 및 광선 변화와 같은 현실적인 고차원 데이터 이동에 대해 뛰어난 강건성을 보여준다.
• 학습된 딥 생성 모델은 복잡한 자연적 변형 패턴을 효과적으로 포착하여 강건한 학습을 위한 정확하고 현실적인 데이터 증강을 가능하게 한다.
• 제안된 학습 알고리즘은 이미지넷 및 CIFAR-10을 포함한 다양한 데이터셋에서 다양한 실제 환경 조건 하에서도 잘 일반화된다.
• 표준 학습 및 공격자 기반 학습이 일반화에 실패하는 극단적 또는 희귀한 자연 조건에서도 강건성 향상 효과가 특히 두드러진다.
• 명시적 변형 모델의 사용은 더 안정적이고 일반화 가능한 표현을 만들어내어 실제 배포 시 분포 이동에 대한 민감도를 감소시킨다.