[논문 리뷰] Where are we now? A large benchmark study of recent symbolic regression methods

Patryk Orzechowski, William La Cava외 1명|arXiv (Cornell University)|2018. 04. 25.

Evolutionary Algorithms and Applications참고 문헌 34인용 수 11

한 줄 요약

이 논문은 94개의 실제 세계 회귀 문제에서 4개의 최신 기호 회귀 방법과 10개의 최첨단 기계 학습 알고리즘을 중첩 교차 검증을 사용하여 비교 평가한다. 주요 발견은 에프실론-레크시케이스 선택 기반의 유전적 프로그래밍 방법(Epsilon-Lexicase in ELLYN)이 모든 데이터셋에서 평균 테스트 오차를 가장 낮게 기록하여, 심지어 상위 기울기 부스팅 모델들조차도 뛰어넘었지만, 단일 스레드 실행으로 인해 뚜렷하게 높은 런타임을 유발한다는 점이다.

ABSTRACT

In this paper we provide a broad benchmarking of recent genetic programming approaches to symbolic regression in the context of state of the art machine learning approaches. We use a set of nearly 100 regression benchmark problems culled from open source repositories across the web. We conduct a rigorous benchmarking of four recent symbolic regression approaches as well as nine machine learning approaches from scikit-learn. The results suggest that symbolic regression performs strongly compared to state-of-the-art gradient boosting algorithms, although in terms of running times is among the slowest of the available methodologies. We discuss the results in detail and point to future research directions that may allow symbolic regression to gain wider adoption in the machine learning community.

연구 동기 및 목표

• 최근 기호 회귀(SR) 방법의 성능을 최첨단 기계 학습(ML) 회귀 알고리즘과 비교 평가하기 위해.
• 유전적 프로그래밍(GP) 분야에서 표준화된 벤치마크의 부족을 해결하기 위해, 94개의 실제 세계 회귀 문제로 구성된 대규모이고 다양한 데이터셋을 사용하기 위해.
• 정확한 비교를 위한 재현 가능한 벤치마크 프레임워크를 제공하고, 중첩 교차 검증을 통한 초모수 튜닝을 수행하기 위해.
• 예측 정확도뿐 아니라 SR 및 ML 방법의 계산 효율성(벽시계 실행 시간)을 평가하기 위해.
• 기계 학습 생태계 내에서 기호 회귀를 더 널리 채택할 수 있도록, 이를 넓은 기계 학습 환경 속에서 위치 지정하기 위해.

제안 방법

• 본 연구는 Epsilon-Lexicase(Eplex), Multiple Regression GP(MRGP), Affine-Form GP(AFP), Gene Expression Programming with Symbiotic Selection(GSGP)의 4개의 최신 GP 기반 기호 회귀 방법을 평가한다.
• scikit-learn의 10개의 기성 기계 학습 회귀 모델이 포함된다: XGBoost, Gradient Boosting, Random Forest, MLP, Lasso-Lars, Linear SVR, SGD Regression, Linear Regression, Kernel Ridge, AdaBoost.
• 모든 94개의 실제 세계 회귀 데이터셋은 오픈소스 레포지터리에서 수집되어 벤치마크에 사용되었다.
• 초모수 튜닝은 5겹 중첩 교차 검증을 사용하여 수행되어, 강건한 모델 선택과 편향 없는 성능 추정을 보장하였다.
• 성능 평가는 각 방법의 훈련 및 테스트 세트에서의 평균 제곱 오차(MSE)와 함께, 벽시계 실행 시간으로 측정되었다.
• 소스 코드와 데이터셋 컬렉션은 공개되어 있어, 향후 새로운 방법의 재현 가능성과 벤치마크를 보장한다.

실험 결과

연구 질문

• RQ1 최근 기호 회귀 방법은 실제 세계 회귀 문제에서 최첨단 기계 학습 알고리즘과 비교해 예측 성능에서 어떻게 성과를 내는가?
• RQ2 다양한 데이터셋에서 일반화 성능가장 우수한 기호 회귀 초모수 설정은 무엇인가?
• RQ3 기호 회귀 방법의 계산 런타임은 XGBoost와 Random Forest와 같은 현대 기계 학습 알고리즘과 비교해 어떻게 되는가?
• RQ4 테스트 오차와 모델 복잡성 측면에서 가장 효과적인 기호 회귀 기법은 무엇인가?
• RQ5 기호 회귀 방법이 기울기 부스팅 및 앙상블 방법과 비슷하거나 뛰어난 성능을 내는 데까지 어느 정도 도달할 수 있는가?

주요 결과

• 에프실론-레크시케이스 선택 기반 GP 방법(Eplex)이 94개 모든 데이터셋에서 평균 테스트 세트 MSE 순위를 가장 높게 기록하여, XGBoost 및 기타 최고 성능 기계 학습 모델들조차도 뛰어넘었다.
• 100만 번의 피트니스 평가를 수행한 Eplex가 평균 테스트 오차가 가장 낮아, 높은 계산 비용에도 불구하고 강력한 예측 성능를 보였다.
• MRGP와 Eplex는 경쟁력 있는 결과를 내었으며, 많은 데이터셋에서 XGBoost와 Random Forest의 성능을 따라하거나 뛰어넘었다.
• 모든 GP 기반 방법은 ML 방법보다 훨씬 높은 벽시계 런타임을 보였으며, 일부 데이터셋에서는 Eplex가 XGBoost보다 최대 100배 더 오래 걸렸다. 이는 단일 스레드 실행 때문이었다.
• 모든 방법에서 가장 자주 선택된 초모수 설정은 큰 개체군 크기(예: 1000)와 중간 수준의 교배/변이 비율을 선호했으며, Eplex와 AFP는 높은 교배 비율(0.8)과 낮은 변이 비율(0.2)을 선호했다.
• 선형 회귀와 커널 리지 회귀는 안정적인 성능를 보였지만, 교차 검증에서 최적으로 선택되지 않았으며, 이는 그들의 단순성으로 인해 복잡한 회귀 과제에는 충분하지 않음을 시사한다.