[논문 리뷰] Using Small Proxy Datasets to Accelerate Hyperparameter Search

Sam Shleifer, Eric Prokop|arXiv (Cornell University)|2019. 06. 12.

Advanced Neural Network Applications참고 문헌 10인용 수 15

한 줄 요약

이 논문은 이미지넷 서브셋인 이미넬트와 이미워프와 같은 이미지넷 서브셋에서 가장 쉬운 10–50%의 훈련 예제를 활용해 소형 프록시 데이터셋을 사용하여 하이퍼파ram터 탐색을 가속화하는 방법을 제안한다. 이로 인해 전체 데이터셋 결과의 분산의 81–95%를 설명할 수 있으며, 계산 비용을 크게 줄여 전체 데이터셋 훈련에 비해 더 뛰어난 성능을 낼 수 있다. 특히, 더 적은 에포크 수로 전체 데이터셋을 훈련하는 것보다도 성능이 뛰어나며, 어려운 예제나 무작위 서브셋보다 쉬운 예제를 사용할 경우 프록시 품질이 높아진다.

ABSTRACT

One of the biggest bottlenecks in a machine learning workflow is waiting for models to train. Depending on the available computing resources, it can take days to weeks to train a neural network on a large dataset with many classes such as ImageNet. For researchers experimenting with new algorithmic approaches, this is impractically time consuming and costly. We aim to generate smaller "proxy datasets" where experiments are cheaper to run but results are highly correlated with experimental results on the full dataset. We generate these proxy datasets using by randomly sampling from examples or classes, training on only the easiest or hardest examples and training on synthetic examples generated by "data distillation". We compare these techniques to the more widely used baseline of training on the full dataset for fewer epochs. For each proxying strategy, we estimate three measures of "proxy quality": how much of the variance in experimental results on the full dataset can be explained by experimental results on the proxy dataset. Experiments on Imagenette and Imagewoof (Howard, 2019) show that running hyperparameter search on the easiest 10% of examples explains 81% of the variance in experiment results on the target task, and using the easiest 50% of examples can explain 95% of the variance, significantly more than training on all the data for fewer epochs, a more widely used baseline. These "easy" proxies are higher quality than training on the full dataset for a reduced number of epochs (but equivalent computational cost), and, unexpectedly, higher quality than proxies constructed from the hardest examples. Without access to a trained model, researchers can improve proxy quality by restricting the subset to fewer classes; proxies built on half the classes are higher quality than those with an equivalent number of examples spread across all classes.

연구 동기 및 목표

• 딥러닝에서 하이퍼파ram터 탐색의 시간과 계산 비용을 줄이되, 모델 성능을 손상시키지 않도록 한다.
• 이미지넷과 같은 대규모 데이터셋에서 장기적인 훈련 시간(수일 또는 수주)이 발생하는 문제를 해결한다.
• 전체 데이터셋에서 관찰된 하이퍼파ram터의 상대적 성능 순서를 유지하는 프록시 데이터셋을 개발한다.
• 다양한 프록시 생성 전략을 평가하고 비교하여 가장 효과적이고 효율적인 접근법을 규명한다.
• 쉬운 예제를 사용할 경우 어려운 예제나 무작위 서브셋보다 프록시 품질이 높으며, 이는 낮은 계산 비용에서도 성능이 뛰어나다는 점을 입증한다.

제안 방법

• 완전히 훈련된 모델의 손실 기반으로 가장 쉬운 10% 또는 50%의 훈련 예제를 선택하여 프록시 데이터셋을 생성한다.
• 기본 전략과의 비교를 위해 전체 데이터셋을 더 적은 에포크 수로 훈련한 결과를 기준으로 프록시 품질을 평가한다 (예: 1, 5, 10 에포크).
• 모든 프록시 및 전체 데이터셋 실험에서 동일한 하이퍼파ram터 그리드를 사용하여 일관된 비교를 확보한다.
• 세 가지 메트릭을 사용해 프록시 품질을 측정한다: 결정계수(R-squared, 분산 설명 비율), 스피어만 상관계수, 비용 보정 결정계수.
• 이미넬트와 이미워프 두 개의 이미지넷 서브셋에서 성능을 평가한다. 이들은 이미지넷의 더 작은, 정제된 버전이다.
• 다양한 프록시 전략을 테스트한다: 쉬운/어려운 예제, 무작위 샘플링, 클래스 제한 서브셋, 합성 예제로부터의 데이터 디스틸레이션.

실험 결과

연구 질문

• RQ1 소규모 프록시 데이터셋이 전체 데이터셋에서 관찰된 하이퍼파라미터 성능의 분산을 높은 비율로 설명할 수 있는가?
• RQ2 쉬운 예제에서의 하이퍼파라미터 탐색 성능은 전체 데이터셋을 더 적은 에포크 수로 훈련한 경우와 비교해 어떻게 되는가?
• RQ3 모든 클래스를 포함하는 것보다 일부 클래스만 제한하여 사용할 경우, 동일한 수의 예제로 프록시 품질이 향상되는가?
• RQ4 어려운 예제는 쉬운 예제만큼 효과적인가, 아니면 성능을 떨어뜨리는가?
• RQ5 데이터 디스틸레이션 또는 기타 합성 방법은 단순한 예제 선택보다 더 높은 품질의 프록시를 생성할 수 있는가?

주요 결과

• 가장 쉬운 10%의 예제로 훈련하면 전체 데이터셋 하이퍼파라미터 성능의 분산의 81%를 설명할 수 있으며, 이는 단 1 에포크로 전체 데이터셋을 훈련하는 것보다 뚜렷이 뛰어난 성능을 보인다.
• 가장 쉬운 50%의 예제로 훈련하면 분산의 95%를 설명할 수 있어, 프록시와 전체 데이터셋 결과 사이에 강한 상관관계가 있음을 입증한다.
• 쉬운 예제 프록시는 어려운 예제 프록시보다 일관되게 뛰어나며, 이는 어려운 예제가 더 정보가 많다고 기대되지만 실제로는 하이퍼파라미터 성능의 상대적 동역학을 더 잘 반영하기 때문이다.
• 클래스 수를 줄일 경우 프록시 품질이 향상된다. 동일한 수의 예제를 사용할 때, 모든 클래스에 퍼져 있는 것보다 반 정도의 클래스에 집중하는 것이 더 높은 품질의 프록시를 제공한다.
• 전체 데이터셋을 더 적은 에포크 수로 훈련하는 기준 전략은 계산 비용은 동일하지만 쉬운 예제 프록시보다 성능이 열 劣하다. 이는 단순히 훈련 시간을 줄이는 것보다 프록시 설계의 중요성이 더 크다는 것을 시사한다.
• 데이터 디스틸레이션 및 무작위 샘플링 전략은 낮은 프록시 품질을 보였으며, 결정계수 값이 0.1 이하로 전체 데이터셋 결과와의 상관관계가 약했다.