[논문 리뷰] In Search of Robust Measures of Generalization

Gintare Karolina Dziugaite, Alexandre Drouin외 6명|arXiv (Cornell University)|2020. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 딥러닝에서 일반화 측정치를 평가하기 위해 분포로 내성적 안정성 프레임워크를 제안하며, 이전 연구들(예: [9])에서 보고된 평균 케이스 성능이 임계적인 실패를 가리킬 수 있음을 주장한다. 데이터 분포, 아키텍처, 하이퍼파라미터 전반에서 악성 환경에 초점을 맞추어 분석한 결과, 경로 노름과 PAC-Bayes 평탄도 측정치는 더 안정적인 성능를 보이며, 스펙트럼 측정치는 너비와 깊이 변화에 특히 취약하여 일관되게 실패함을 확인하였다.

ABSTRACT

One of the principal scientific challenges in deep learning is explaining generalization, i.e., why the particular way the community now trains networks to achieve small training error also leads to small error on held-out data from the same population. It is widely appreciated that some worst-case theories -- such as those based on the VC dimension of the class of predictors induced by modern neural network architectures -- are unable to explain empirical performance. A large volume of work aims to close this gap, primarily by developing bounds on generalization error, optimization error, and excess risk. When evaluated empirically, however, most of these bounds are numerically vacuous. Focusing on generalization bounds, this work addresses the question of how to evaluate such bounds empirically. Jiang et al. (2020) recently described a large-scale empirical study aimed at uncovering potential causal relationships between bounds/measures and generalization. Building on their study, we highlight where their proposed methods can obscure failures and successes of generalization measures in explaining generalization. We argue that generalization measures should instead be evaluated within the framework of distributional robustness.

연구 동기 및 목표

• 딥러닝에서 일반화 경계에 대한 체계적이고 안정적인 평가 방법의 부족을 해결하기 위해.
• 이전의 대규모 연구들(예: [9])에서 사용된 평균 케이스 평가 프레임워크의 한계를 비판하며, 일반화 측정치의 실패가 가려질 수 있음을 지적하기 위해.
• 특정 환경에서의 실패를 평균화하지 않고 평가하기 위해 분포로 내성적 안정성 프레임워크를 제안하기 위해.
• 다양한 모델 및 데이터 구성에서 악성 환경 성능을 강조함으로써 일반화 이론의 경험적 평가를 향상시키기 위해.
• 강력한 회귀 분석과 타겟된 간섭을 통해 향후 더 신뢰할 수 있고 이론 기반의 일반화 측정치 개발을 이끌기 위해.

제안 방법

• 일반화 측정치의 강력함을 데이터 분포, 아키텍처, 하이퍼파라미터 전반에서의 악성 환경 성능에 기반한 분포로 내성적 안정성 프레임워크를 도입하기 위해.
• CIFAR-10, SVHN 등의 데이터 분포, 모델 아키텍처, 트레이닝 세트 크기, 하이퍼파라미터(깊이, 너비, 학습률)를 기반으로 환경의 가족을 정의하기 위해.
• 최악의 편차에 중점을 두어 하이퍼파라미터와 일반화 갭 간의 관계를 모델링하기 위해 첨부된 부록 B의 강력한 회귀 기법을 사용하기 위해.
• 신뢰할 수 있는 기호 오차 추정을 보장하기 위해 몬테카를로 노이즈가 높은 환경을 제거하기 위해 필터링을 적용하기 위해.
• 일반화 측정치(예: 경로 노름, 스펙트럼 노름, PAC-Bayes 평탄도)를 환경의 부분군에 대해 비교하여 실패 모드를 고립하기 위해.
• 기호 오차 분석을 통해 측정치가 무작위 확률보다 일반화 갭을 더 잘 예측하는지 평가하며, 특히 악성 환경 부분군에 중점을 두기 위해.

실험 결과

연구 질문

• RQ1 이전 연구에서 보고된 평균 케이스 성능 지표가 다양한 모델 및 데이터 구성에서 일반화 측정치의 임계적 실패를 가리킬 수 있는가?
• RQ2 아키텍처, 데이터, 하이퍼파라미터에 의해 정의된 환경의 가족 전반에서 악성 조건에서 다양한 일반화 측정치는 어떻게 성능을 보이는가?
• RQ3 어떤 일반화 측정치가 네트워크 깊이, 너비, 학습률의 변화와 같은 다양한 간섭에 대해 안정성을 보여주는가?
• RQ4 기존 이론적 경계가 일반화 오차가 트레이닝 세트 크기에 따라 어떻게 의존하는지를 제대로 기록하지 못하는 정도는 어느 정도인가?
• RQ5 악성 환경 성능에 기반한 강력한 평가 프레임워크가 신뢰할 수 있는 일반화 측정치의 식별을 향상시킬 수 있는가?

주요 결과

• [9]에서 보고된 일반화 측정치의 평균 케이스 성능는 몬테카를로 노이즈가 높아 8.2%의 너비 환경이 제거된 사실을 통해 임계적 실패를 가리킬 수 있음을 입증하였다.
• 경로 노름과 PAC-Bayes 평탄도 기반 측정치는 악성 환경에서 항상 다른 측정치보다 뛰어난 성능를 보이며, 특히 CIFAR-10의 '깊이' 및 '너비' 부분군에서 두드러진다.
• 스펙트럼 측정치인 'prod.of.spec'는 모든 환경에서 열악한 성능를 보이며, 특히 너비와 깊이 변화에 취약하여 근본적인 불안정성을 드러낸다.
• 본 연구는 많은 기존 경계가 트레이닝 세트 크기에 따라 증가하는 경향을 보이며, 실제로는 더 많은 데이터에서 일반화 오차가 감소한다는 경험적 관찰과 모순됨을 밝혀냈다.
• 제안된 강력한 평가 프레임워크는 CIFAR-10의 '깊이' 환경에서 악성 조건에서 평가할 경우 어떤 측정치도 랜덤 추측보다 유의미하게 뛰어나지 않음을 드러냈다.
• 저자들은 [9]에서 하이퍼파라미터 범위의 차이와 드롭아웃의 사용이 결론의 상이를 초래함을 발견하여, 결과가 실험 설계에 매우 민감함을 강조하였다.