[논문 리뷰] Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness

Ling Liu, Wenqi Wei외 5명|arXiv (Cornell University)|2019. 08. 29.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 여러 다양성 측정법과 공통 결정 전략을 통해 다수의 다양성을 최적화하는 딥 네ural 네트워크(DNN) 앙상블 프레임워크를 제안한다. 투표 또는 학습된 융합을 통해 다양성을 전략적으로 조합함으로써, 앙상블는 더 높은 정확도를 달성하고 적대적 편향으로부터의 속임수에 저항할 수 있다.

ABSTRACT

Ensemble learning is a methodology that integrates multiple DNN learners for improving prediction performance of individual learners. Diversity is greater when the errors of the ensemble prediction is more uniformly distributed. Greater diversity is highly correlated with the increase in ensemble accuracy. Another attractive property of diversity optimized ensemble learning is its robustness against deception: an adversarial perturbation attack can mislead one DNN model to misclassify but may not fool other ensemble DNN members consistently. In this paper we first give an overview of the concept of ensemble diversity and examine the three types of ensemble diversity in the context of DNN classifiers. We then describe a set of ensemble diversity measures, a suite of algorithms for creating diversity ensembles and for performing ensemble consensus (voted or learned) for generating high accuracy ensemble output by strategically combining outputs of individual members. This paper concludes with a discussion on a set of open issues in quantifying ensemble diversity for robust deep learning.

연구 동기 및 목표

• 앙상블 다양성이 딥 네럴 네트워크 분류기의 정확도와 강건성에 어떻게 기여하는지 조사하기 위해.
• 일반화 및 적대적 공격에 대한 저항력을 향상시키기 위해 DNN 앙상블에서 세 가지 유형의 다양성을 식별하고 정량화하기 위해.
• 다양한 DNN 앙상블을 생성하고 고정밀도 예측을 위한 효과적인 공통 결정 메커니즘을 개발하기 위한 알고리즘 세트를 개발하기 위해.
• 강건한 딥 러닝을 위한 다양성 측정 및 활용에 있어 열려 있는 과제를 해결하기 위해.

제안 방법

• DNN 분류기에서의 앙상블 다양성 세 가지 유형을 분류하고 분석한다: 오차 다양성, 출력 다양성, 파라미터 다양성.
• 다양한 DNN 앙상블의 평가 및 생성을 유도하기 위한 정량적 다양성 측정법 세트를 제안한다.
• 데이터 셔플링, 모델 가중치 초기화, 데이터 증강과 같은 학습 전략을 활용하여 앙상블 구성원 간의 다양성을 증진시킨다.
• 개별 DNN 모델의 예측을 조합하기 위해 투표 및 학습된 융합 방법을 모두 적용한다.
• 적대적 훈련과 편향 테스트를 통해 위협에 대한 강건성을 평가한다.
• 다양성 측정법이 앙상블 성능 및 적대적 강건성과 어떻게 관련되어 있는지 체계적으로 평가하는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 앙상블 다양성은 DNN 분류기의 정확도와 강건성 향상과 어떻게 관련되어 있는가?
• RQ2 DNN 앙상블에서의 세 가지 주요 다양성 유형은 무엇이며, 이를 어떻게 측정하고 최적화할 수 있는가?
• RQ3 다양성 기반 앙상블 학습은 단일 모델 대비 얼마나 적대적 편향 공격에 저항할 수 있는가?
• RQ4 다른 공통 결정 전략(투표 대비 학습된 융합)은 앙상블 성능과 강건성에 어떻게 영향을 미치는가?
• RQ5 강건한 딥 러닝을 위한 다양성 측정 및 활용에 있어 핵심적인 열려 있는 과제는 무엇인가?

주요 결과

• 더 높은 앙상블 다양성은 오차가 균일하게 분포되게 하여 전체 앙상블 정확도를 크게 향상시킨다.
• 다양성 최적화된 앙상블는 적대적 공격에 대해 뛰어난 강건성을 보이며, 한 모델을 속이는 편향이 전체 앙상블를 속이지 못하는 경향이 있다.
• 다양한 다양성 측정법을 활용하면 앙상블 내에서 상호보완적인 DNN 모델을 체계적으로 식별하고 향상시킬 수 있다.
• 학습된 융합 방법은 간단한 투표보다 일부 설정에서 더 나은 상호모델 관계를 포착하여 최종 예측 정확도를 향상시키므로 더 뛰어나다.
• 논문은 특히 적대적 강건성과 관련하여 DNN 앙상블의 다양성 정의 및 측정에 있어 중요한 열려 있는 문제를 규명한다.
• 실험 결과 다양성이 높은 앙상블는 표적 적대적 공격 조건에서도 높은 정확도를 유지하며, 속임수에 대한 내성적 저항력을 보여준다.