[논문 리뷰] Ensemble Robustness of Deep Learning Algorithms

Jiashi Feng, Tom Zahavy외 3명|arXiv (Cornell University)|2016. 02. 07.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 4

한 줄 요약

이 논문은 딥 러닝 알고리즘의 일반화 성능을 설명하기 위한 새로운 프레임워크인 앙상블 강건성(ensemble robustness)을 제안한다. 이는 스트로스틱 학습 알고리즘이 적절한 적대적 편향에 대한 평균 민감도가 유계이거나, 동치로 표현하면 성능 분산이 낮을 경우 잘 일반화됨을 보여주며, 이는 일곱 가지 딥 러닝 알고리즘과 아키텍처에 대한 시뮬레이션으로 뒷받침된다.

ABSTRACT

The question why deep learning algorithms perform so well in practice has attracted increasing research interest. However, most of well-established approaches, such as hypothesis capacity, robustness or sparseness, have not provided complete explanations, due to the high complexity of the deep learning algorithms and their inherent randomness. In this work, we introduce a new approach~ extendash~ensemble robustness~ extendash~towards characterizing the generalization performance of generic deep learning algorithms. Ensemble robustness concerns robustness of the \emph{population} of the hypotheses that may be output by a learning algorithm. Through the lens of ensemble robustness, we reveal that a stochastic learning algorithm can generalize well as long as its sensitiveness to adversarial perturbation is bounded in average, or equivalently, the performance variance of the algorithm is small. Quantifying ensemble robustness of various deep learning algorithms may be difficult analytically. However, extensive simulations for seven common deep learning algorithms for different network architectures provide supporting evidence for our claims. Furthermore, our work explains the good performance of several published deep learning algorithms.

연구 동기 및 목표

• 딥 러닝 알고리즘이 높은 복잡도와 내재된 랜덤성에도 불구하고 잘 일반화되는 이유에 대한 이해가 부족한 문제를 다루기 위해.
• 기존의 가설 용량이나 희박성 같은 개념을 넘어서 일반화 성능을 특성화하는 새로운 이론적 프레임워크를 개발하기 위해.
• 학습 알고리즘이 생성하는 가설 집단의 강건성과 그 일반화 능력 사이의 관계를 조사하기 위해.
• 다양한 출판된 딥 러닝 알고리즘의 강력한 경험적 성능을 통합적으로 설명하기 위해.

제안 방법

• 스토스틱 학습 알고리즘이 출력할 수 있는 가설 전체 집단에 대한 강건성 측도로 앙상블 강건성을 제안한다.
• 일반화의 핵심 조건을 정의한다: 가설 집단 전반에 걸쳐 적대적 편향에 대한 평균 민감도가 유계여야 한다.
• 유계 평균 민감도와 학습 알고리즘의 성능 분산이 낮다는 것 사이의 등가성을 확립한다.
• 이론적 주장의 타당성을 검증하기 위해 일곱 가지 일반적인 딥 러닝 알고리즘과 여러 네트워크 아키텍처에 걸쳐 광범위한 시뮬레이션을 수행한다.
• 실증적 평가를 통해 편향 하에서의 성능 분산을 분석하여 알고리즘의 일반화 행동을 분석한다.

실험 결과

연구 질문

• RQ1 딥 러닝 알고리즘이 생성하는 가설 집단의 강건성은 그 일반화 성능과 어떻게 관련이 있는가?
• RQ2 적대적 편향에 대한 평균 민감도가 유계일 경우, 스트로스틱 딥 러닝 알고리즘이 잘 일반화되는 이유를 설명할 수 있는가?
• RQ3 가설 간의 성능 분산이 딥 러닝 모델의 일반화 능력과 얼마나 관련이 있는가?
• RQ4 제안된 앙상블 강건성 프레임워크는 기존 딥 러닝 알고리즘의 성공을 어떻게 설명하는가?

주요 결과

• 앙상블 강건성은 기존의 가설 용량이나 희박성 같은 측정법과 독립적으로 딥 러닝의 일반화를 이해하는 데 새로운 이론적 시각을 제공한다.
• 스트로스틱 학습 알고리즘이 가설 집단 전반에 걸쳐 적대적 편향에 대한 평균 민감도가 유계일 경우 잘 일반화된다.
• 학습 알고리즘의 낮은 성능 분산은 유계 평균 민감도와 등가이며, 일반화에 대한 실용적인 대체 측도를 제공한다.
• 일곱 가지 딥 러닝 알고리즘과 다양한 아키텍처에 걸친 광범위한 시뮬레이션은 제안된 이론적 주장에 대한 지지를 받는다.
• 이 프레임워크는 다양한 출판된 딥 러닝 알고리즘의 강력한 경험적 성능을 그 내재된 앙상블 강건성으로 설명할 수 있다.