[논문 리뷰] Perturbation Validation: A New Heuristic to Validate Machine Learning Models

Jie M. Zhang, Mark Harman외 3명|arXiv (Cornell University)|2019. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 테스트 데이터에 의존하지 않고, 훈련 레이블을 교란한 후 훈련 정확도의 감소를 측정하여 기계학습 모델의 적합도를 평가하는 새로운 히우리스틱인 Perturbation Validation (PV)을 제안한다. PV는 기존 방법보다 모델 적합도 탐지 능력에서 뛰어나며, 고용량 모델의 일반화에서 발생하는 역설을 설명한다.

ABSTRACT

This paper introduces Perturbation Validation (PV), a new heuristic to validate machine learning models. PV does not rely on test data. Instead, it perturbs training data labels, re-trains the model against the perturbed data, then uses the consequent training accuracy decrease rate to assess model fit. PV also differs from traditional statistical approaches, which make judgements without considering label distribution. We evaluate PV on 10 real-world datasets and 6 synthetic datasets. Our results demonstrate that PV is more discriminating about model fit than existing validation approaches and it accords well with widely-held intuitions concerning the properties of a good model fit measurement. We also show that PV complements existing validation approaches, allowing us to give explanations for some of the issues present in the recently-debated apparent paradox that high capacity (potentially overfitted) models may, nevertheless, exhibit good generalisation ability.

연구 동기 및 목표

• 테스트 데이터에 의존하지 않는 모델 적합도 평가 방법을 개발하기 위해.
• 레이블 분포를 忽시하는 전통적인 통계 검증 접근법의 한계를 해결하기 위해.
• 모델 적합도 품질에 대한 직관적 기대와 더 잘 일치하는 히우리스틱을 만들기 위해.
• 고용량 모델이 잠재적 과적합에도 불구하고 잘 일반화되는 데 대한 명백한 역설을 설명하기 위해.

제안 방법

• 훈련 데이터의 레이블을 교란하여 잘못된 레이블링을 시뮬레이션한다.
• 교란된 훈련 데이터로 모델을 재학습시킨다.
• 모델 적합도의 지표로 훈련 정확도 감소 비율을 측정한다.
• 훈련 정확도가 레이블 교란에 얼마나 민감한지 활용해 모델의 강건성과 적합도를 지표로 삼는다.
• 다양한 모델과 데이터셋 간의 정확도 감소 비율을 비교한다.
• 기존 검증 기법과 PV를 통합하여 모델 문제 탐지 능력과 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 PV는 기존 검증 방법과 비교해 모델 적합도 탐지 능력이 얼마나 우수한가?
• RQ2 기존 방법과 달리 PV의 성능은 레이블 분포에 의존하는가?
• RQ3 PV는 고용량 모델의 일반화 역설을 설명할 수 있는가?
• RQ4 PV는 기존 검증 기법과 어떻게 보완되는가?

주요 결과

• PV는 10개의 실세계 및 6개의 합성 데이터셋에서 모델 적합도 평가 능력에서 뛰어난 분류 성능을 보였다.
• 이 방법은 일반적으로 널리 공유되는 모델 적합도 측정 기준에 대해 강력한 일치성을 보였다.
• PV는 고용량 모델이 잠재적 과적합에도 불구하고 잘 일반화되는 데 대한 명백한 역설을 성공적으로 설명했다.
• 레이블 교란 하에서의 정확도 감소 비율은 모델의 강건성과 적합도 품질을 신뢰할 수 있는 지표로 기능했다.
• PV는 기존 검증 접근법과 상호보완적이며, 그 해석 가능성을 향상시켰다.