[논문 리뷰] Accounting for Variance in Machine Learning Benchmarks

Xavier Bouthillier, Pierre Delaunay외 15명|arXiv (Cornell University)|2021. 03. 01.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 40

한 줄 요약

본 논문은 ML 벤치마크의 분산 원인들을 정식화하고(데이터 샘플링, 초기화, 증강 및 하이퍼파라미터 최적화), 이들의 비교 주장에 미치는 상당한 영향을 보이며, 개선을 신뢰성 있게 탐지하기 위한 전략(무작위화와 재샘플링)을 제안한다. 더 많은 변동성을 고려했을 때 직관에 반하는 51x 계산 비용 감소를 포함한다.

ABSTRACT

Strong empirical evidence that one machine-learning algorithm A outperforms another one B ideally calls for multiple trials optimizing the learning pipeline over sources of variation such as data sampling, data augmentation, parameter initialization, and hyperparameters choices. This is prohibitively expensive, and corners are cut to reach conclusions. We model the whole benchmarking process, revealing that variance due to data sampling, parameter initialization and hyperparameter choice impact markedly the results. We analyze the predominant comparison methods used today in the light of this variance. We show a counter-intuitive result that adding more sources of variation to an imperfect estimator approaches better the ideal estimator at a 51 times reduction in compute cost. Building on these results, we study the error rate of detecting improvements, on five different deep-learning tasks/architectures. This study leads us to propose recommendations for performance comparisons.

연구 동기 및 목표

• ML 파이프라인의 벤치마크 성능에 영향을 주는 다양한 무작위성 원인을 정량화한다.
• 하이퍼파라미터 최적화를 포함한 전체 벤치마킹 프로세스를 모델링하여 성능 추정에 미치는 영향을 이해한다.
• 제한된 컴퓨트 예산하에서 벤치마크 비교의 신뢰성을 높이기 위한 실용적 권고안을 제시한다.
• 벤치마크 분산 하에서 알고리즘 간의 실질적 개선을 어떻게 탐지할지 평가한다.

제안 방법

• ML 파이프라인에서 데이터, 초기화, 증강 및 하이퍼파라미터 최적화로부터의 분산을 모델링하기 위해 Hothorn 등(2005)의 프레임워크를 확장한다.
• 전체 학습 파이프라인을 xiH 및 xiO의 무작위 변화가 Opt(Stv, lambda)에 영향을 주는 확률 과정으로 표현한다.
• 데이터 샘플링 분산을 정량화하기 위해 부트스트랩 샘플링을 사용하고 이를 분류 정확도에 대한 이항 모델과 비교한다.
• 통제된 시드와 예산 하에 여러 하이퍼파라미터 최적화 방법(랜덤 탐색, 격자 탐색, 베이지안 최적화) 간의 분산을 평가한다.
• 전체 분산을 포함할 때와 부분 분산을 포함할 때 평균 성능 mu 추정치가 어떻게 바뀌는지 분석하고 벤치마크 설계에 대한 시사점을 도출한다.

실험 결과

연구 질문

• RQ1 데이터 샘플링 외에 ML 벤치마크에서 통제되지 않는 주요 분산 원인은 무엇인가?
• RQ2 하이퍼파라미터 최적화가 초기화나 데이터 증강 등 다른 원인과 비교하여 벤치마크 성능의 분산에 얼마나 기여하는가?
• RQ3 여러 분산 원인을 고려하는 것이 알고리즘 A와 B 간의 개선을 탐지하는 신뢰도에 어떻게 영향을 미치는가?
• RQ4 제한된 컴퓨트 예산 하에서 벤치마크 결론의 정밀성과 공정성을 가장 잘 개선하는 실용적 권고는 무엇인가?

주요 결과

• 데이터 샘플링 분산, 하이퍼파라미터 최적화 및 증강 선택이 벤치마크 결과에 상당한 영향을 미친다.
• 데이터를 부트스트랩하는 것이 분산의 지배적 원인으로 나타나며, 초기화와 SGD 방문 순서는 더 작지만 무시할 수 없는 부분을 기여한다.
• 하이퍼파라미터 최적화 분산은 상당하며 연구 사례들에서 초기화 분산과 비슷한 수준일 수 있다.
• 더 많은 변동 원인을 포함하면 성능 추정치의 표준오차가 감소하여 작은 개선에 대한 민감도가 향상된다.
• 출판된 개선에서 관찰된 분산은 일반적으로 보고되는 이득과 같은 차수이며 벤치마크 시 분산을 고려할 필요성을 강조한다.
• 추가 변동 소스를 고려할 때 계산 비용이 51x 감소하는 것으로 보고되며 이는 이상적 추정기에 근접한다.