[논문 리뷰] Ensemble Robustness and Generalization of Stochastic Deep Learning Algorithms

Tom Zahavy, Bingyi Kang외 4명|arXiv (Cornell University)|2016. 02. 07.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 10

한 줄 요약

이 논문은 확률적 딥러닝 학습 알고리즘의 일반화 성능을 설명하기 위한 새로운 이론적 프레임워크인 앙상블 내성도를 제안한다. 이는 학습 알고리즘이 적대적 편향에 대한 평균 민감도가 유계일 경우 일반화 성능이 잘 된다는 것을 증명하며, MNIST에서 일곱 가지 딥러닝 알고리즘에 대한 시뮬레이션을 통해 이론을 실증적으로 검증한다. 그 결과, 앙상블 내성도가 높은 방법이 낮은 테스트 오차를 기록하는 것으로 나타났다.

ABSTRACT

The question why deep learning algorithms generalize so well has attracted increasing research interest. However, most of the well-established approaches, such as hypothesis capacity, stability or sparseness, have not provided complete explanations (Zhang et al., 2016; Kawaguchi et al., 2017). In this work, we focus on the robustness approach (Xu & Mannor, 2012), i.e., if the error of a hypothesis will not change much due to perturbations of its training examples, then it will also generalize well. As most deep learning algorithms are stochastic (e.g., Stochastic Gradient Descent, Dropout, and Bayes-by-backprop), we revisit the robustness arguments of Xu & Mannor, and introduce a new approach, ensemble robustness, that concerns the robustness of a population of hypotheses. Through the lens of ensemble robustness, we reveal that a stochastic learning algorithm can generalize well as long as its sensitiveness to adversarial perturbations is bounded in average over training examples. Moreover, an algorithm may be sensitive to some adversarial examples (Goodfellow et al., 2015) but still generalize well. To support our claims, we provide extensive simulations for different deep learning algorithms and different network architectures exhibiting a strong correlation between ensemble robustness and the ability to generalize.

연구 동기 및 목표

• 딥러닝 알고리즘이 높은 복잡성과 난수성에도 불구하고 일반화 성능이 잘 되는 이유에 대한 이론적 이해의 격차를 메우기 위해.
• 결정론적 알고리즘으로의 내성도-일반화 연결을 확률적 딥러닝 알고리즘으로 확장하기 위해.
• 랜덤화된 알고리즘에 의해 생성된 가설 분포의 내성도를 캡처하는 새로운 특성화인 앙상블 내성도를 제안하기 위해.
• 다양한 딥러닝 아키텍처와 알고리즘에서 앙상블 내성도가 일반화 성능을 예측할 수 있음을 실증적으로 검증하기 위해.

제안 방법

• 확률적 학습 알고리즘에서 샘플링된 가설들이 훈련 데이터의 적대적 편향에 대해 보이는 평균 민감도로 앙상블 내성도를 정의한다.
• 이론적으로 평균 민감도가 유계일 경우(즉, 앙상블 내성도가 유계일 경우) 높은 확률로 일반화 성능이 보장됨을 증명한다(정리 1).
• 일阶 테일러 근사를 사용하여 적대적 예제를 효율적으로 추정한다: $\Delta s_i \in \arg\max_{\|\Delta s_i\| \leq r} \ell(s_i) + \langle \nabla\ell_{s_i}(s), \Delta s_i \rangle$.
• 10회의 랜덤 실행 동안 청소된 샘플과 적대적 샘플 간의 손실 차이 평균을 통해 경험적 앙상블 내성도를 계산한다: $\bar{\epsilon}_{\text{emp}} = \frac{1}{T} \sum_{t=1}^T \max_i |\ell(\mathcal{A}^{(t)}_{\mathbf{s}}, s_i) - \ell(\mathcal{A}^{(t)}_{\mathbf{s}}, s_i + \Delta s_i)|$.
• MNIST를 사용하여 세 가지 네트워크 아키텍처에서 일곱 가지 알고리즘(SGD, 드롭아웃, 적대적 훈련 변형)을 평가한다.
• 경험적 앙상블 내성도를 테스트 오차와 비교하여 제안된 이론을 검증한다.

실험 결과

연구 질문

• RQ1 앙상블 내성도는 확률적 딥러닝 알고리즘에서 일반화 성능을 신뢰할 만한 예측자로 활용할 수 있는가?
• RQ2 가설들이 적대적 편향에 대한 평균 민감도는 딥 네트워크에서 일반화와 어떻게 관련되는가?
• RQ3 왜 일부 알고리즘(예: 적대적 훈련과 드롭아웃)이 잘 일반화되는가? 앙상블 내성도는 이들의 성공을 설명할 수 있는가?
• RQ4 경험적 앙상블 내성도는 다양한 딥러닝 알고리즘의 일반화 성능을 비교하고 순위를 매기는 데 얼마나 유용한가?

주요 결과

• 모든 네트워크 아키텍처에서, 적대적 훈련 방법(예: $\ell_\infty$, $\ell_2$, $\ell_1$)이 일반화된 SGD와 드롭아웃보다 경험적 앙상블 내성도($\bar{\epsilon}$)가 일관되게 낮게 나타났다.
• Network-I에서 $\ell_\infty$ 적대적 훈련 방법이 가장 낮은 테스트 오차(0.65%)를 기록했고, 이는 $\ell_2$(0.66%)와 $\ell_1$(0.67%) 다음으로 뒤이었다. 이는 각각의 $\bar{\epsilon}$ 값이 가장 낮았던 것과 일치한다.
• 드롭아웃 기반 방법(SGD+드롭아웃 및 PS+드롭아웃)은 Network-III에서 비드롭아웃 대비 낮은 테스트 오차(1.08% 및 1.89%)와 낮은 $\bar{\epsilon}$를 기록하여, 앙상블 내성도를 통한 설명을 뒷받침한다.
• 경험적 앙상블 내성도 지표는 테스트 성능과 강하게 상관되어 있다: 모든 네트워크 유형과 편향 크기에서 $\bar{\epsilon}$가 낮은 알고리즘은 일관되게 낮은 테스트 오차를 기록한다.
• 결과는 정리 1을 실증적으로 검증한다: 편향에 대한 평균 민감도가 유계인 확률적 알고리즘은 낮은 테스트 오차와 낮은 $\bar{\epsilon}$를 통해 잘 일반화된다.
• 앙상블 내성도는 드롭아웃의 성공을 설명한다: 다양한 내성 있는 가설 집단을 생성함으로써 입력 편향에 대한 평균 민감도를 감소시켜 더 나은 일반화를 이끈다.