[논문 리뷰] Predicting Deep Neural Network Generalization with Perturbation Response Curves

Yair Schiff, Brian Quanz외 2명|arXiv (Cornell University)|2021. 06. 09.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 훈련 데이터의 점진적 교란에 따른 정확도 변화를 추적하는 Perturbation Response (PR) 곡선을 사용하여 딥 네트워크 일반화를 예측하는 새로운 프레임워크를 제안한다. 이 프레임워크는 소득 불평등 측정 지표에서 영감을 얻은 두 가지 새로운 지표인 Gi-score와 Pal-score를 도입하여 PGDL 경쟁에서 다양한 작업에서 최신 기술 수준을 초월하는 성능을 달성하였으며, 동시에 회전, 이동, 색상 왜곡과 같은 특정 입력 변환에 대한 모델의 불변성에 대한 강력한 평가도 가능하게 한다.

ABSTRACT

The field of Deep Learning is rich with empirical evidence of human-like performance on a variety of prediction tasks. However, despite these successes, the recent Predicting Generalization in Deep Learning (PGDL) NeurIPS 2020 competition suggests that there is a need for more robust and efficient measures of network generalization. In this work, we propose a new framework for evaluating the generalization capabilities of trained networks. We use perturbation response (PR) curves that capture the accuracy change of a given network as a function of varying levels of training sample perturbation. From these PR curves, we derive novel statistics that capture generalization capability. Specifically, we introduce two new measures for accurately predicting generalization gaps: the Gi-score and Pal-score, which are inspired by the Gini coefficient and Palma ratio (measures of income inequality), that accurately predict generalization gaps. Using our framework applied to intra and inter-class sample mixup, we attain better predictive scores than the current state-of-the-art measures on a majority of tasks in the PGDL competition. In addition, we show that our framework and the proposed statistics can be used to capture to what extent a trained network is invariant to a given parametric input transformation, such as rotation or translation. Therefore, these generalization gap prediction statistics also provide a useful means for selecting optimal network architectures and hyperparameters that are invariant to a certain perturbation.

연구 동기 및 목표

• 훈련 이후에도 적용 가능한 효율적인 후행 측정법이 부족한 딥 네트워크 일반화 갭을 예측하는 데 문제를 해결하기 위해.
• 훈련된 모델이 다양한 수준의 데이터 교란에 대해 얼마나 강력하게 일반화되는지를 정량화하는 프레임워크를 개발하기 위해.
• 예를 들어, 회전, 이동, 색상 왜곡과 같은 특정 입력 변환에 대한 모델의 불변성을 평가할 수 있도록 하기 위해.
• 기존의 복잡도 측정법보다 우수한 성능을 보이는 해석 가능하고 강력한 통계량을 제공하여 일반화 갭 예측에 활용하기 위해.
• 특정 목적의 교란에 대한 불변성을 정량화함으로써 아키텍처 및 하이퍼파라미터 선택을 지원하기 위해.

제안 방법

• Mix업, 회전, 이동 등 다양한 교란 유형에 대해 여러 정도의 교란을 가한 훈련 데이터에서 모델 정확도를 평가하여 Perturbation Response (PR) 곡선을 구성한다.
• Gi-score는 PR 곡선과 이상적인 곡선 사이의 면적을 측정하는 지표로, 교란에 대한 민감도를 반영한다.
• Pal-score는 최고 성능을 보인 교란 수준의 정확도를 평균 정확도로 나눈 비율로, 피크 수준의 강건성을 캡처한다.
• Gi-score와 음수 Pal-score의 합을 복합 지표로 사용하여 모델 순위를 매기며, 높은 값일수록 더 우수한 일반화를 의미한다.
• 내부 클래스 및 외부 클래스 Mixup, 그리고 회전, 이동과 같은 기하학적 변환에 대해 불변성을 평가하기 위해 프레임워크를 적용한다.
• CIFAR-10, SVHN 및 기타 벤치마크에서 다양한 증강 기법과 하이퍼파라미터를 사용해 모델을 훈련하여 예측 능력을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 교란 수준에서 유도된 PR 곡선이 단일 점 평가보다 더 강력하고 정보적인 모델 일반화 측정법을 제공할 수 있는가?
• RQ2 제안된 Gi-score와 Pal-score가 기존 최신 기술 수준의 복잡도 측정법보다 일반화 갭을 얼마나 잘 예측하는가?
• RQ3 이 프레임워크는 예를 들어 회전이나 이동과 같은 특정 매개변수 기반 데이터 변환에 대해 모델의 불변성을 어느 정도 정량화할 수 있는가?
• RQ4 이 프레임워크는 원하는 교란에 대한 불변성을 향상시키는 최적의 아키텍처 및 하이퍼파라미터 선택을 안내할 수 있는가?
• RQ5 복합 지표인 Gi + (-Pal) 점수가 다양한 데이터셋과 모델 아키텍처에서 개별 지표 및 베이스라인보다 일관되게 슈퍼리어한 성능을 보이는가?

주요 결과

• PGDL 경쟁의 대부분의 작업에서 현재 최신 기술 수준을 초월하는 일반화 갭 예측 점수를 Gi-score와 Pal-score의 조합이 달성하였다.
• 단일 보간 정도에 의존하는 것이 아니라 전체 교란 응답 스펙트럼을 포괄함으로써, 기존의 베이스라인 방법, 심지어 PGDL 우승 제출물보다도 더 뛰어난 성능을 보였다.
• CINIC-10 데이터셋에서 Gi-intraℓ0 및 Pal-intraℓ0 조합은 복합 점수 22.60을 기록하여 모든 지표 중 최고 순위를 차지하였다.
• 프레임워크는 기하학적 변환에 대한 모델의 불변성을 성공적으로 캡처하였다. 예를 들어, CIFAR-10에서 회전에 대해 Gi-intraℓ0 및 Pal-intraℓ0 지표는 일반화 갭과 강한 상관관계를 보였다 (시각화 결과 피어슨 상관계수 R > 0.8).
• CMI 점수 분석을 통해 제안된 지표들이 하이퍼파라미터만으로 설명 가능한 바를 넘어서 독립적이고 정보적인 예측 능력을 제공한다는 것이 확인되었다.
• VGG, NiN, ResNet 등의 다양한 아키텍처와 CIFAR-10, SVHN, Fashion-MNIST 등의 다양한 데이터 유형에서 프로포절이 강건하게 작동하였으며, 일반화 예측에서 항상 기존의 베이스라인을 능가하는 성능을 보였다.