[논문 리뷰] AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning

Krishnateja Killamsetty, Guttu Sai Abhishek외 5명|arXiv (Cornell University)|2022. 03. 15.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 전체 데이터셋 대신 정보가 풍부한 소규모 데이터셋으로 학습함으로써 하이퍼파ram터 튜닝을 가속화하는 기울기 기반 데이터 서브셋 선택 프레임워크인 Automata를 제안한다. 기울기 정보를 활용해 대표성을 갖춘 샘플을 선별함으로써, Automata는 전체 데이터 튜닝 대비 2% 성능 손실로 3×–30×의 속도 향상을 달성하며, 비전, 텍스트, 표 형식 벤치마크 전반에서 훈련 시간, 에너지 소비량, CO2 배출량을 크게 감소시킨다.

ABSTRACT

Deep neural networks have seen great success in recent years; however, training a deep model is often challenging as its performance heavily depends on the hyper-parameters used. In addition, finding the optimal hyper-parameter configuration, even with state-of-the-art (SOTA) hyper-parameter optimization (HPO) algorithms, can be time-consuming, requiring multiple training runs over the entire dataset for different possible sets of hyper-parameters. Our central insight is that using an informative subset of the dataset for model training runs involved in hyper-parameter optimization, allows us to find the optimal hyper-parameter configuration significantly faster. In this work, we propose AUTOMATA, a gradient-based subset selection framework for hyper-parameter tuning. We empirically evaluate the effectiveness of AUTOMATA in hyper-parameter tuning through several experiments on real-world datasets in the text, vision, and tabular domains. Our experiments show that using gradient-based data subsets for hyper-parameter tuning achieves significantly faster turnaround times and speedups of 3$\ imes$-30$\ imes$ while achieving comparable performance to the hyper-parameters found using the entire dataset.

연구 동기 및 목표

• 딥러닝에서 하이퍼파ram터 튜닝의 높은 계산 비용과 환경적 비용을 줄이기 위해.
• 기존 하이퍼파라미터 최적화(HPO) 방법에서 무작위 데이터 서브셋 선택의 비효율성을 해결하기 위해.
• 기울기 기반 기준을 사용해 정보가 풍부한 데이터 서브셋을 선별함으로써 HPO 효율성을 향상시키는 방법을 개발하기 위해.
• 훈련 시간과 에너지 소비량을 크게 줄이며 비교적 동일한 모델 성능을 달성하기 위해.
• 기울기 기반 서브셋 선택이 기존의 랜덤 및 이전 서브셋 선택 방법보다 HPO 효율성과 정확도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• Automata는 훈련 데이터에서 대표성을 갖춘 샘플을 식별하기 위해 기울기 기반 데이터 서브셋 선택을 사용한다.
• 모델 파라미터의 훈련 예제에 대한 기울기를 계산하고, 기울기 크기 또는 다양성이 높은 데이터 포인트를 선별한다.
• 선택된 서브셋은 하이퍼파라미터 탐색 중 모델을 훈련하는 데 사용되며, 전체 데이터셋 학습을 대체한다.
• 프레임워크는 하이퍼밴드와 ASHA와 같은 기존의 HPO 스케줄러와 통합되며, 이들은 조기 정지 기법을 사용해 탐색을 가속화한다.
• 서브셋에서 최적의 하이퍼파라미터를 확보한 후, 최종 모델은 전체 데이터셋으로 재학습된다.
• 에너지 소비 및 CO2 배출량은 pyJoules와 MLCO2 계산기로 추정되어 환경적 영향을 평가한다.

실험 결과

연구 질문

• RQ1 기울기 기반 데이터 서브셋 선택이 하이퍼파라미터 튜닝 효율성에서 랜덤 서브셋 선택을 능가할 수 있는가?
• RQ2 작고 정보가 풍부한 데이터 서브셋은 하이퍼파라미터 탐색 중 모델 성능을 어느 정도 유지할 수 있는가?
• RQ3 속도 향상, 정확도, 에너지 효율성 측면에서 Automata는 전체 데이터 튜닝과 어떻게 비교되는가?
• RQ4 기울기 기반 서브셋 사용이 하이퍼파라미터 튜닝 파이프라인의 CO2 배출량을 줄이는가?
• RQ5 다양한 데이터 모odalities에서 Automata는 속도, 정확도, 환경 비용 간의 유리한 트레이드오프를 달성할 수 있는가?

주요 결과

• Automata는 전체 데이터 하이퍼파라미터 튜닝 대비 3×에서 30×의 속도 향상을 달성하며, 성능 저하가 최소한이다.
• 비전, 텍스트, 표 형식 데이터셋 전반에서 평균적으로 Automata는 전체 데이터 튜닝 대비 테스트 오차를 1–2%만 증가시킨다.
• CIFAR-100 데이터셋의 경우, Automata는 데이터의 10%만 사용해 30×의 속도 향상을 달성했고, 전체 학습 대비 CO2 배출량을 90% 이상 감소시켰다.
• 속도 향상-정확도 및 에너지 효율성 트레이드오프 측면에서 Automata는 랜덤 및 Craig 기반 서브셋 선택보다 뛰어난 성능을 보였다.
• 특히 하이퍼밴드와 같은 공격적인 스케줄러를 사용할 경우, 에너지 소비량과 CO2 배출량이 최대 90% 감소했으며, 이는 소규모 서브셋을 사용할 때 특히 두드러졌다.
• 모든 평가 설정에서 Automata는 속도 향상 대비 오차 트레이드오프 플롯의 우하단 영역에서 최고의 성능를 기록했으며, 이는 뛰어난 효율성을 의미한다.