[논문 리뷰] Detecting Overfitting via Adversarial Examples

Roman Werpachowski, András György외 1명|arXiv (Cornell University)|2019. 03. 06.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 7

한 줄 요약

이 논문은 원본 테스트 데이터에서 생성된 적대적 예제를 사용하여 테스트 세트에 대한 모델 과적합 여부를 비침습적으로 검출하는 통계적 검정을 제안한다. 표준 테스트 오차율과 중요도 가중치를 적용한 적대적 오차 추정치를 비교함으로써, 두 값 간에 유의미한 차이가 있을 경우 과적합을 감지한다. ImageNet에 적용한 결과, 테스트 세트에 대한 과적합의 증거가 없었으며, 이는 최근의 다른 연구 결과와 일치한다.

ABSTRACT

The repeated community-wide reuse of test sets in popular benchmark problems raises doubts about the credibility of reported test-error rates. Verifying whether a learned model is overfitted to a test set is challenging as independent test sets drawn from the same data distribution are usually unavailable, while other test sets may introduce a distribution shift. We propose a new hypothesis test that uses only the original test data to detect overfitting. It utilizes a new unbiased error estimate that is based on adversarial examples generated from the test data and importance weighting. Overfitting is detected if this error estimate is sufficiently different from the original test error rate. We develop a specialized variant of our test for multiclass image classification, and apply it to testing overfitting of recent models to the popular ImageNet benchmark. Our method correctly indicates overfitting of the trained model to the training set, but is not able to detect any overfitting to the test set, in line with other recent work on this topic.

연구 동기 및 목표

• 벤치마크 테스트 세트에서의 모델 성능이 반복적인 재사용으로 인해 손상될 수 있다는 우려가 증가하고 있는 데 대응하기 위해.
• 프로토콜 변경이나 외부 데이터가 필요 없이 오직 원본 테스트 세트만을 기반으로 하는 비침습적 통계적 검정을 개발하기 위해.
• 적대적 예제를 바탕으로 한 편향이 없고 분산이 낮은 오차 추정치를 만들기 위해, 이는 모델-테스트 세트 간의 의존성 탐지에 기여한다.
• 실제 응용 벤치마크, 특히 ImageNet을 대상으로 이 방법을 평가하여 최신 기술 수준의 모델이 테스트 세트에 과적합되어 있는지 여부를 확인하기 위해.
• 일반화 테스트를 위한 계산 가능한 중요도 가중치를 갖는 적대적 편향을 활용해 시각 분야뿐 아니라 다른 분야로의 일반화 가능성 탐색을 위해.

제안 방법

• 작은 이동(예: (5,-5))을 통해 생성된 적대적 예제를 활용하여, 데이터 밀도를 유지하고 중요도 가중치 계산이 가능한 편향을 유도하는 편향된 테스트 예제를 생성한다.
• 적대적 편향에 의해 유도된 공변량 이동을 보정하기 위해 중요도 가중치를 적용함으로써, 모델-테스트 세트 간 독립성 하에서 오차 추정치가 편향되지 않도록 보장한다.
• 표준 오차율과 적대적 오차 추정치 간의 격리 차이를 기반으로 한 대응 독립성 검정을 사용하여, 독립성의 귀무가설을 기각한다.
• 여러 개별적으로 훈련된 모델(모델 아키텍처 수준 테스트)의 결과를 통합하여 방법을 확장한다.
• 강력한, 가장 가까운, 무작위 기반 기준 등 전용 AEGs(적대적 예제 생성기)를 사용하여 테스트의 강건성과 검정력 평가를 수행한다.

실험 결과

연구 질문

• RQ1 독립적인 테스트 데이터나 프로토콜 강제 조건 없이도 통계적 검정이 테스트 세트에 대한 과적합 여부를 감지할 수 있는가?
• RQ2 제안된 적대적 오차 추정치는 편향이 없고 표준 오차 추정치보다 과적합에 더 민감한가?
• RQ3 이 방법은 특히 테스트 세트가 반복적으로 사용될 경우 최신 기술 수준의 ImageNet 모델에서 과적합 여부를 감지할 수 있는가?
• RQ4 다양한 종류의 적대적 공격(예: 가장 강력한 vs. 가장 작은 편향)이 테스트의 검정력과 신뢰성에 어떤 영향을 미치는가?
• RQ5 이 방법은 이미지 분류를 넘어 NLP나 음성 인식과 같은 다른 기계 학습 작업으로 일반화될 수 있는가?

주요 결과

• 전체 훈련 세트와 가장 강력한 적대적 편향을 사용할 경우, 모델과 ImageNet 훈련 세트 간 과적합 여부를 성공적으로 감지하였으며, p-값은 0.000006(99.9994% 신뢰도)였다.
• 모델과 ImageNet 테스트 세트 간 독립성을 기각하지 못했으며, p-값은 0.96이었고, 이는 테스트 세트에 대한 검출 가능한 과적합이 없음을 시사한다.
• ResNet-50의 경우 120개의 독립적으로 훈련된 모델을 사용한 N-모델 테스트에서도 p-값이 1.0이었으며, 이는 테스트 세트 과적합이 없음을 추가로 뒷받침한다.
• '가장 강력한 편향' AEG는 훈련 데이터에 대한 과적합을 감지하는 데 효과적이었지만, 약한 또는 무작위 편향은 그렇지 않았으며, 이는 편향 강도의 중요성을 강조한다.
• 이 방법은 훈련 세트에 적용했을 때 기본 신뢰구간 비교보다 성능이 열 劣하므로, 제안된 검정 설계의 우수성을 시사한다.
• 결과는 ImageNet 테스트 세트에 대한 과적합이 최소 수준임을 시사하는 최근의 다른 연구들과 일치한다. 이는 높은 계산 비용과 개발된 모델 아키텍처의 수가 제한되어 있기 때문일 것이다.