[논문 리뷰] Hyper-parameter estimation method with particle swarm optimization

Yaru Li, Yulai Zhang|arXiv (Cornell University)|2020. 11. 24.

Advanced Multi-Objective Optimization Algorithms참고 문헌 22인용 수 7

한 줄 요약

이 논문은 입자군집최적화(PSO)를 베이지안 최적화(BO) 프레임워크에 통합하여 획득 함수를 효율적으로 최적화하는 새로운 초파rameter 최적화 방법인 PSO-BO를 제안한다. 비볼록이며 다중 피크를 가진 획득 함수에 대해 PSO의 전역 탐색 능력을 활용함으로써, 보스턴 주택, Digits, XGBoost 모델을 포함한 벤치마크 데이터셋에서 기울기 기반 대안인 L-BFGS-B와 TNC보다 우수한 일반화 정확도를 달성한다.

ABSTRACT

Particle swarm optimization (PSO) method cannot be directly used in the problem of hyper-parameter estimation since the mathematical formulation of the mapping from hyper-parameters to loss function or generalization accuracy is unclear. Bayesian optimization (BO) framework is capable of converting the optimization of the hyper-parameters into the optimization of an acquisition function. The acquisition function is non-convex and multi-peak. So the problem can be better solved by the PSO. The proposed method in this paper uses the particle swarm method to optimize the acquisition function in the BO framework to get better hyper-parameters. The performances of proposed method in both of the classification and regression models are evaluated and demonstrated. The results on several benchmark problems are improved.

연구 동기 및 목표

• 기계학습에서 초파arameter에서 성능으로의 사전 정의되지 않은 비선형적이고 계산 비용이 큰 매핑 문제를 해결하기 위해.
• 그리드 서치와 무작위 서치와 같은 전통적 방법의 비효율성과 전역 최적화 능력 부족 문제를 해결하기 위해.
• 기울기 기반 최적화에 의존하는 기존 BO 프레임워크의 한계를 보완하기 위해. 이러한 방법들은 계산 비용이 높고 국소 최적점에 갇힐 수 있다.
• PSO를 BO 프레임워크에 통합하여 획득 함수 최적화를 통해 초파arameter 튜닝의 효율성과 효과를 향상시키기 위해.
• 다양한 회귀 및 분류 작업에서 모델 일반화 정확도 측면에서 최첨단 기법들에 비해 PSO-BO의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 입자군집최적화(PSO)를 베이지안 최적화(BO) 프레임워크에 통합하여, 초파arameter 탐색에서 다음 평가 포인트 선택을 이끄는 획득 함수를 최적화한다.
• 비볼록이고 다중 모달한 획득 함수에 대해 PSO를 적용하여 기울기 계산이 필요 없이 고성능의 초파arameter 설정을 찾는다.
• 알고리즘은 초파arameter 공간에 입자 군집을 초기화하며, 각 입자는 후보 설정을 나타내고, 개인 최적(pbi) 및 전역 최적(gb) 값을 사용해 반복적으로 위치와 속도를 갱신한다.
• 관성 가중치(ω), 인지적 계수(c1), 사회적 계수(c2)를 사용해 탐색과 이용의 균형을 이루며, r1과 r2는 균일한 난수 변수이다.
• PSO 과정은 BO 루프 내부에 통합된다: 각 평가 이후 획득 함수를 재평가하고, PSO는 모델 훈련과 검증을 위한 새로운 후보 초파arameter 설정을 생성한다.
• 5겹 교차검증을 사용하고, 성능 평가에는 R²(회귀)와 분류 정확도(분류)를 사용하며, 실험에서 ω = 0.8 가 최적으로 확인되었다.

실험 결과

연구 질문

• RQ1 비볼록이고 다중 피크를 가진 획득 함수에 대해 입자군집최적화가 베이지안 초파arameter 최적화에서 효과적으로 작동할 수 있는가?
• RQ2 PSO-BO는 다양한 기계학습 모델에서 L-BFGS-B와 TNC와 같은 기울기 기반 방법보다 모델 일반화 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 PSO에서 관성 가중치 ω의 선택이 BO 프레임워크 내 초파arameter 최적화 성능에 미치는 영향은 어떠한가?
• RQ4 PSO-BO는 계산 비용을 줄이며 그리드 서치와 무작위 서치보다 더 나은 성능을 낼 수 있는가?
• RQ5 PSO-BO는 고차원 초파arameter 공간에서 확장 가능하고 효과적인가, 아니면 차원 증가에 따라 성능이著しく 떨어지는가?

주요 결과

• 보스턴 주택 회귀 데이터셋에서 ω = 0.8을 사용한 PSO-BO는 평균 R²가 0.609를 기록하여 L-BFGS-B-BO(0.6021)와 TNC-BO(0.6045)를 초월했다.
• Digits 데이터셋의 랜덤 포레스트 분류기에서 PSO-BO는 최대 정확도 0.9471을 달성하여 L-BFGS-B-BO(0.9449)와 TNC-BO(0.9443)를 뛰어넘었다.
• XGBoost 분류에서 PSO-BO는 평균 정확도 0.9414를 기록하여 L-BFGS-B-BO(0.93945)와 TNC-BO(0.9405)를 초월했으며, 최대 정확도는 0.947이었다.
• 실험 결과, PSO-BO는 ω = 0.8일 때 모든 벤치마크 작업에서 다른 방법들보다 일관되게 뛰어난 성능을 보였으며, 이는 강건성과 효과성을 시사한다.
• PSO-BO 프레임워크는 특히 기울기 기반 방법에서 흔히 발생하는 국소 최소값을 피하는 데서 뛰어난 성능을 보였다.
• 강력한 성능에도 불구하고, 고차원 공간에서는 수렴 속도가 느린 경향을 보여 향후 효율성 향상의 필요성이 제기된다.