[논문 리뷰] Hyperparameter Importance for Machine Learning Algorithms

Honghe Jin|arXiv (Cornell University)|2022. 01. 13.

Machine Learning and Data Classification인용 수 11

한 줄 요약

이 논문은 하이퍼파라미터 값에 따른 모델 리스크의 분산을 기반으로 한 데이터 기반의 하이퍼파라미터 중요도 정의를 제안한다. 이는 하위표본 추출을 통해 효율적이고 확장 가능한 튜닝을 가능하게 하며, 대규모 데이터셋에서의 계산 비용을 90% 이상 절감하면서도 일관된 중요도 순서를 확보한다. XGBoost와 GBM을 사용한 실제 신용 카드 사기 및 신용 불이행 데이터셋을 대상으로 검증된 결과, 전체 그리드 검색 대비 90% 이상의 계산 절감 효과를 기록하였다.

ABSTRACT

Hyperparameter plays an essential role in the fitting of supervised machine learning algorithms. However, it is computationally expensive to tune all the tunable hyperparameters simultaneously especially for large data sets. In this paper, we give a definition of hyperparameter importance that can be estimated by subsampling procedures. According to the importance, hyperparameters can then be tuned on the entire data set more efficiently. We show theoretically that the proposed importance on subsets of data is consistent with the one on the population data under weak conditions. Numerical experiments show that the proposed importance is consistent and can save a lot of computational resources.

연구 동기 및 목표

• 대규모 데이터셋에서 전체 하이퍼파라미터 튜닝이 계산적으로 불가능한 문제를 해결하기 위해, 튜닝에 가장 영향을 미치는 하이퍼파라미터를 식별한다.
• 모델의 파라미터 변화에 대한 민감도를 반영하는 데이터 의존적이고 일반적인 하이퍼파라미터 중요도 정의를 개발한다.
• 작은 데이터 서브셋에서 추정한 중요도 기반으로 하이퍼파라미터를 순차적으로 튜닝할 수 있도록 한다.
• 서브샘플과 전체 인구집단 데이터 간 중요도 추정의 이론적 일致성을 확보한다.
• 기계학습 파ip라인에서 히우리스틱이나 경험 기반 선택 방식에 대한 실증 기반의 실용적 대안을 제공한다.

제안 방법

• 주어진 데이터 서브셋에서 하이퍼파라미터 값에 따른 모델 리스크(예: AUC 또는 손실)의 분산을 하이퍼파라미터 중요도로 정의한다.
• 하위표본 추출을 통한 중요도 추정: 전체 데이터셋에서 여러 개의 작은 무작위 서브셋을 추출하고, 각 하이퍼파라미터에 대해 리스크 분산을 계산한다.
• 하이퍼파라미터 값에 따른 리스크의 경험적 분산을 중요도의 대체 지표로 사용하며, 높은 분산은 모델 성능에 더 큰 영향을 미친다는 것을 의미한다.
• 이론적 일치성 증명: 약한 정규성 조건 하에, 서브샘플에서 추정한 중요도는 전체 인구집단의 진정한 중요도로 수렴한다.
• 순차적 튜닝 프레임워크에 적용: 가장 중요한 하이퍼파라미터부터 우선순위를 정하여 전체 데이터셋에서 튜닝을 수행한다.
• 서브샘플에서 그리드 검색을 통해 중요도를 추정하고, 이후 전체 튜닝은 상위 순위의 하이퍼파라미터에만 적용한다.

실험 결과

연구 질문

• RQ1 작은 데이터 서브셋에서 하이퍼파라미터 중요도를 일관되게 추정하고, 이를 대규모 데이터셋에서의 효율적 튜닝을 이끄는 데 사용할 수 있는가?
• RQ2 제안된 하위표본 기반 중요도 측정 방식은 전체 그리드 검색 대비 계산 효율성과 모델 성능 측면에서 어떻게 비교되는가?
• RQ3 하이퍼파라미터 값에 따른 리스크의 분산이 하이퍼파라미터 영향력에 대한 신뢰할 수 있고 이론적으로 일致하는 지표로 기능하는가?
• RQ4 실제 기계학습 응용 분야에서 모델 정확도를 유지하면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 이 방법은 히우리스틱이나 경험 기반 선택을 대체할 수 있는 객관적이고 데이터 기반의 근거를 제공할 수 있는가?

주요 결과

• 리스크 분산을 기반으로 한 제안된 하이퍼파라미터 중요도 측정 방식은 서브샘플과 전체 인구집단 데이터 간 이론적으로 일致한다.
• 150만 개의 샘플을 포함한 신용 카드 사기 데이터셋에서, 이 방법은 하이퍼파라미터 튜닝 시간을 90% 이상 절감(전체 그리드 검색: 697.12분 대비 순차적 튜닝: 5.36분)하면서도 거의 동일한 AUC(0.8713 대비 0.8711)를 달성하였다.
• 5000만 개의 샘플을 포함한 대규모 신용 불이행 데이터셋에서, 0.5%, 1%, 2%의 하위표본 비율로 추출한 결과, 동일한 하이퍼파라미터 중요도 순서가 도출되어 실증적 일관성을 입증하였다.
• AUC 분포의 시각적 분석을 통해 Max Depth와 Step Size는 높은 영향을 미치는 것으로 확인되었고(큰 AUC 분산), Max Bins는 거의 영향이 없음을 확인하여, 비정보성 하이퍼파라미터를 식별할 수 있음을 검증하였다.
• 이 방법은 상위 3개의 하이퍼파라미터(최대 깊이, 스텝 사이즈, 최대 반복 수)에만 집중함으로써 순차적 튜닝을 효과적으로 가능하게 하여, 계산 부담을 줄이면서도 모델 성능을 손상시키지 않았다.
• 중요도 추정 단계 자체는 24.21분이 소요되었지만, 전체 데이터셋에서의 전체 그리드 검색을 피함으로써 전체 시간 절감 효과가 뚜렷하여, 이 방법이 대규모 데이터에 대해 확장 가능하다는 것을 입증하였다.