[논문 리뷰] Model Similarity Mitigates Test Set Overuse

Horia Mania, J. J. Miller외 3명|arXiv (Cornell University)|2019. 05. 29.

Machine Learning and Data Classification참고 문헌 17인용 수 4

한 줄 요약

이 논문은 모델 유사도—즉, 모델들이 높은 상관도를 보이는 예측을 할 때—테스트 세트에 대한 과적합을 완화시켜, 기존 일반화 경계가 允許하는 것보다 훨씬 더 많은 재사용을 가능하게 한다고 제안한다. 유사도를 고려한 일반화 경계를 도입함으로써, 저자들은 높은 모델 유사도가 안전한 테스트 세트 재사용 횟수를 최대 4개 지수 단위까지 증가시킬 수 있음을 보여주며, ImageNet과 같은 벤치마크가 광범위한 재사용에도 불구하고 여전히 유효한 이유를 설명한다.

ABSTRACT

Excessive reuse of test data has become commonplace in today's machine learning workflows. Popular benchmarks, competitions, industrial scale tuning, among other applications, all involve test data reuse beyond guidance by statistical confidence bounds. Nonetheless, recent replication studies give evidence that popular benchmarks continue to support progress despite years of extensive reuse. We proffer a new explanation for the apparent longevity of test data: Many proposed models are similar in their predictions and we prove that this similarity mitigates overfitting. Specifically, we show empirically that models proposed for the ImageNet ILSVRC benchmark agree in their predictions well beyond what we can conclude from their accuracy levels alone. Likewise, models created by large scale hyperparameter search enjoy high levels of similarity. Motivated by these empirical observations, we give a non-asymptotic generalization bound that takes similarity into account, leading to meaningful confidence bounds in practical settings.

연구 동기 및 목표

• 이론적으로 과적합이 발생해야 할 것으로 예상되는 바와는 달리, ImageNet과 같은 테스트 세트가 광범위한 재사용에도 불구하고 여전히 유효한 이유를 설명하기 위해.
• 인기 있는 벤치마크와 하이퍼파라미터 검색에서 모델 유사도의 실증적 수준을 조사하기 위해.
• 모델 유사도를 통합하여 더 날카롭고 실용적인 신뢰구간을 제공하는 새로운 일반화 경계를 개발하기 위해.
• 모델 유사도가 적응형 및 비적응형 환경에서 안전한 테스트 세트 재사용 횟수에 얼마나 기여하는지 정량화하기 위해.
• 모델 간의 구조적 의존성이 과적합 위험을 추가로 줄일 수 있는지 탐색하기 위해.

제안 방법

• 랜덤 하이퍼파라미터 검색 및 신경망 아키텍처 검색에서 유래한 1,000개 이상의 ImageNet 및 CIFAR-10 모델 간의 쌍별 예측 유사도를 실증적으로 측정한다.
• 정확도에 관계없이 테스트 샘플 전역에서의 예측 일치도를 기반으로 유사도 측정 기준을 정의한다.
• 모델 가족의 커버링 수를 통해 모델 유사도를 고려한 새로운 비점근 일반화 경계를 도입한다.
• 표준 √(log k / n) 항을 유사도에 의존하는 항으로 대체하는 개선된 유니온 바운드를 유도하며, 과적합 위험을 감소시킨다.
• 해당 경계를 적용하여 주어진 오차 허용 범위에서 안전하게 평가할 수 있는 모델 최대 수를 추정한다.
• 유사도 기반 경계를 표준 유니온 바운드 및 단순 베이즈 근사와 비교하여 실용적 환경에서의 상당한 향상을 보여준다.

실험 결과

연구 질문

• RQ1 ImageNet과 CIFAR-10에서 훈련된 모델들이 정확도 수준을 초월해 얼마나 높은 예측 유사도를 보이는가?
• RQ2 적응형 테스트 세트 재사용 시나리오에서 모델 유사도는 일반화 오차 경계에 어떻게 영향을 미치는가?
• RQ3 유사도 기반 일반화 경계가 표준 경계에 비해 안전한 테스트 세트 재사용 횟수를 얼마나 크게 증가시킬 수 있는가?
• RQ4 큰 규모의 하이퍼파라미터 및 신경망 아키텍처 검색 중에도, 모델이 적응적으로 선택되더라도 높은 모델 유사도가 유지되는가?
• RQ5 추가적인 구조적 가정이 모델 예측에 영향을 주며, 이로 인해 유사도 기반 경계가 얼마나 더 향상되는가?

주요 결과

• ImageNet과 CIFAR-10 모델은 정확도 수준을 초월해 상당히 높은 예측 일치도를 보이며, 일부 케이스에서는 평균 쌍별 유사도가 97.5%에 이른다.
• CIFAR-10에서의 랜덤 하이퍼파라미터 검색 중, 모델 체크포인트는 여전히 매우 높은 유사도를 유지하며, 무작위 가능성 초과 수준에 이르렀다.
• 신경망 아키텍처 검색 모델은 상위 성능을 보이는 구성 간 평균 유사도가 97.6%에 이르며, 강력한 구조적 수렴을 나타낸다.
• 제안된 유사도 기반 일반화 경계는 표준 유니온 바운드 대비 안전한 테스트 세트 재사용 횟수를 최대 12배까지 증가시킨다.
• 추가 모델링 가정이 있을 경우, 이 경계는 기준 대비 안전한 재사용 횟수를 최대 34,000배까지 증가시킬 수 있다.
• 높은 정확도 영역에서도 모델 유사도 덕분에 과적합 없이 훨씬 더 많은 테스트 세트 평가가 가능하며, 이는 ImageNet과 같은 벤치마크의 지속 가능성에 대한 설명이 된다.