[논문 리뷰] The advantages of multiple classes for reducing overfitting from test set reuse

Vitaly Feldman, Roy Frostig외 1명|arXiv (Cornell University)|2019. 05. 24.

Imbalanced Data Classification Techniques인용 수 14

한 줄 요약

이 논문은 이진 분류보다 다중 분류 예측 문제에서 테스트 세트 재사용으로 인한 과적합이 크게 감소하는 것으로 나타내며, 이는 클래스 수가 증가하기 때문입니다. 이론적 경계를 통해 최악의 경우 편향은 Õ(√(k log n / (m n)) + k/n) 비율로 증가함을 보이며, 실질적 공격 실험을 통해 더 높은 클래스 수(예: ImageNet에서 m=1000)일수록 의미 있는 과적합을 이룰 수 있는 쿼리 수가 크게 증가함을 확인했습니다.

ABSTRACT

Excessive reuse of holdout data can lead to overfitting. However, there is little concrete evidence of significant overfitting due to holdout reuse in popular multiclass benchmarks today. Known results show that, in the worst-case, revealing the accuracy of $k$ adaptively chosen classifiers on a data set of size $n$ allows to create a classifier with bias of $Θ(\sqrt{k/n})$ for any binary prediction problem. We show a new upper bound of $ ilde O(\max\{\sqrt{k\log(n)/(mn)},k/n\})$ on the worst-case bias that any attack can achieve in a prediction problem with $m$ classes. Moreover, we present an efficient attack that achieve a bias of $Ω(\sqrt{k/(m^2 n)})$ and improves on previous work for the binary setting ($m=2$). We also present an inefficient attack that achieves a bias of $ ildeΩ(k/n)$. Complementing our theoretical work, we give new practical attacks to stress-test multiclass benchmarks by aiming to create as large a bias as possible with a given number of queries. Our experiments show that the additional uncertainty of prediction with a large number of classes indeed mitigates the effect of our best attacks. Our work extends developments in understanding overfitting due to adaptive data analysis to multiclass prediction problems. It also bears out the surprising fact that multiclass prediction problems are significantly more robust to overfitting when reusing a test (or holdout) dataset. This offers an explanation as to why popular multiclass prediction benchmarks, such as ImageNet, may enjoy a longer lifespan than what intuition from literature on binary classification suggests.

연구 동기 및 목표

• 다중 분류 예측 문제에서 클래스 수가 테스트 세트를 반복적으로 접근함으로써 발생하는 과적합에 미치는 영향을 조사하는 것.
• 이진 분류에서의 적응형 데이터 분석 이론적 이해를 다중 분류 설정으로 확장하는 것.
• 다양한 클래스 수에서 테스트 세트 재사용을 통해 최대한의 편향을 유도하는 실질적 공격을 개발하고 평가하는 것.
• 실제로 테스트 세트를 광범위하게 재사용해도 ImageNet과 같은 벤치마크가 왜 지속적으로 유지되는지 설명하는 것.

제안 방법

• 다중 분류 설정에서 최악의 경우 편향에 대한 새로운 이론적 상한선을 제안: Õ(max{√(k log n / (m n)), k/n}).
• 편향 Ω(√(k / (m²n)))를 달성하는 효율적인 공격과 Õ(k/n) 편향에 도달하는 비효율적인 공격을 제안.
• 모델 로짓을 사전 분포로 사용하여 쿼리 선택을 안내하는 사전 지식 기반 공격(NBπ)을 도입.
• 상위-R 예측이나 낮은 신뢰도 샘플에 집중함으로써 효과적인 클래스 수(m)를 줄이는 히우리스틱 기법을 적용.
• 합성 데이터셋과 ResNet-50v2 모델을 사전 정보로 사용하여 ImageNet 2012 벤치마크에서 실험을 수행.
• 쿼리 기반 적응형 공격을 적용하여 무작위 추측 대비 고정된 우위를 확보하기 위해 필요한 쿼리 수를 측정.

실험 결과

연구 질문

• RQ1 다중 분류 문제에서 클래스 수를 늘일수록 테스트 세트 재사용으로 인한 최악의 경우 편향은 어떻게 영향을 받는가?
• RQ2 이진 분류에서의 과적합 이론적 경계를 m > 2인 다중 분류 설정으로 확장할 수 있는가?
• RQ3 사전 지식(예: 모델 로짓)이 제공될 경우 실질적 공격이 다중 분류 테스트 세트에 과적합하는 데 얼마나 효과적인가?
• RQ4 상위-R 예측 등을 통해 효과적인 클래스 수를 줄이면 공격 성공률는 얼마나 향상되는가?
• RQ5 실제 다중 분류 벤치마크인 ImageNet은 이론적 최악의 과적합 위험에도 불구하고 광범위한 테스트 세트 재사용에도 불구하고 왜 여전히 강건한가?

주요 결과

• 이론적 분석 결과, 다중 분류 문제에서 최악의 경우 편향은 Õ(√(k log n / (m n))) + k/n 비율로 증가함을 보이며, 이는 더 큰 m 값이 과적합 위험을 크게 감소시킴을 시사한다.
• 효율적인 공격은 Ω(√(k / (m²n)))의 편향을 달성하며, m=2일 경우 이전의 이진 설정 경계보다 향상됨을 입증.
• ImageNet 테스트 세트(m=1000)에서 NBπ 공격은 상위-2 예측을 통해 m를 R=2로 줄였을 때 5200개의 쿼리 후 3.0%의 정확도 향상을 달성.
• 모델 신뢰도를 활용해 40,000개의 고신뢰도 포인트를 제거함으로써 n을 10,000으로 줄였고, 5200개의 쿼리 후 공격 우위가 1.44%로 증가.
• 합성 데이터에서의 로그-로그 플롯을 통해 고정된 편향을 확보하기 위해 필요한 쿼리 수는 m에 대해 초선형적으로 증가함을 확인.
• 강력한 사전 지식(예: ResNet-50 로짓)이 있더라도 큰 m 기반 벤치마크에서는 공격 성공률가 여전히 제한되어 있으며, 이는 실제 벤치마크의 강건성에 대한 설명이 된다.