[논문 리뷰] Reducing overfitting in challenge-based competitions

Elias Chaibub Neto, Bruce Hoff외 11명|arXiv (Cornell University)|2016. 07. 01.

Sports Analytics and Performance참고 문헌 17인용 수 3

한 줄 요약

이 논문은 작고 제한된 데이터셋에서의 오버피팅을 줄이기 위해 래더 알고리즘의 베이지안 부트스트랩 기반 변형을 제안한다. 공개 랜딩보드 점수의 원시 성능 대신 부트스트랩된 추정치를 공개함으로써 참가자들이 미세한 점수 변동에 과도하게 피팅하는 것을 방지하며, 프리드먼의 역설에 기반한 공격에 노출된 취약성을 효과적으로 완화한다. 이 방법은 임의의 성능 지표를 지원한다.

ABSTRACT

Over-fitting is a dreaded foe in challenge-based competitions. Because participants rely on public leaderboards to evaluate and refine their models, there is always the danger they might over-fit to the holdout data supporting the leaderboard. The recently published Ladder algorithm aims to address this problem by preventing the participants from exploiting willingly or inadvertently minor fluctuations in public leaderboard scores during model refinement. In this paper, we report a vulnerability of the Ladder that induces severe over-fitting of the leaderboard when the sample size is small. To circumvent this attack, we propose a variation of the Ladder that releases a bootstrapped estimate of the public leaderboard score instead of providing participants with a direct measure of performance. We also extend the scope of the Ladder to arbitrary performance metrics by relying on a more broadly applicable testing procedure based on the Bayesian bootstrap. Our method makes it possible to use a leaderboard, with the technical and social advantages that it provides, even in cases where data is scant.

연구 동기 및 목표

• 작은 표본 회귀 도전 과제에서 래더 알고리즘이 오버피팅에 취약한 문제를 해결하기 위해.
• 모델 개선 과정에서 공개 랜딩보드 점수의 미세한 변동을 악용하는 참가자들을 방지하기 위해.
• 표본 모멘트로 표현할 수 없는 성능 지표를 포함한 임의의 성능 지표로 래더 메커니즘을 확장하기 위해.
• 공개 랜딩보드의 이점—예를 들어 반복적인 모델 개선과 커뮤니티 참여—을 유지하면서도 랜딩보드의 무결성을 해치지 않기 위해.
• 의료 생물학 연구와 같은 데이터가 부족한 분야에서 공정하고 신뢰할 수 있는 도전 기반 경쟁을 조직하기 위한 강건하고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 공개 랜딩보드 점수의 직접 공개를 부트스트랩된 성능 추정치로 대체하여 미세한 점수 변동을 은폐한다.
• 베이지안 부트스트랩을 사용해 연속적인 모델 제출 간 성능 차이(Δs)의 사후 분포를 생성한다.
• 사후 오즈(PO)를 사용한 베이지안 가설 검정을 적용하여 새로운 점수를 공개할지 이전 최고 성능을 유지할지 결정한다.
• 표본 모멘트로 표현할 수 없는 지표의 경우, 비모수적 부트스트랩 재표본을 사용해 사후 분포를 근사한다.
• 프리드먼의 역설에 기반한 스텝-포워드 공격 시뮬레이션을 구현하여 래더의 취약성을 테스트하고 개선된 방법을 검증한다.
• 오직 통계적으로 유의미한 향상이 있을 경우에만 참가자에게 점수를 공개하는 순차적 모델 개선 파이프라인에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 래더 알고리즘은 작은 표본 회귀 설정에서 악성 오버피팅 공격에 강건하게 만들 수 있는가?
• RQ2 래더 메커니즘은 비선형적이고 모멘트 기반 외의 성능 지표를 포함한 임의의 성능 지표를 지원하도록 어떻게 확장할 수 있는가?
• RQ3 공개 랜딩보드 점수를 부트스트랩된 추정치로 대체하는 것이 오버피팅을 효과적으로 줄이면서도 모델 개선을 방해하지 않는가?
• RQ4 베이지안 부트스트랩 기반 접근법은 도전 기반 경쟁에서 공정성과 신뢰성을 어느 정도 유지하는가?
• RQ5 이 방법은 점수 유출을 통한 데이터 누출을 방지하면서도 공개 랜딩보드의 사회적 및 기술적 이점을 유지할 수 있는가?

주요 결과

• 원래의 래더 알고리즘은 특히 프리드먼의 역설에 기반한 공격에 취약하여 작은 표본 회귀 문제에서 오버피팅이 발생한다.
• 제안된 베이지안 부트스트랩 기반 변형은 부트스트랩된 추정치를 통해 미세한 점수 변동을 은폐함으로써 오버피팅을 성공적으로 방지한다.
• 베이지안 부트스트랩 또는 비모수적 부트스트랩을 활용해 사후 추론의 대체 수단으로 사용함으로써, 임의의 성능 지표를 지원한다.
• 이 방법은 참가자들이 공개 랜딩보드 데이터에 오버피팅하는 위험을 크게 줄이면서도 모델 개선 능력을 유지한다.
• 스텝-포워드 공격을 활용한 실증적 검증을 통해 개선된 래더 메커니즘이 원래 래더가 실패하는 상황에서도 오버피팅에 저항하는 것으로 확인되었다.
• 이 방법은 의료 생물학 연구와 같은 데이터가 부족한 분야에서 공개 랜딩보드를 사용할 수 있도록 하면서도 최종 모델 평가의 무결성을 해치지 않는다.