[논문 리뷰] Symbolic Regression Algorithms with Built-in Linear Regression

Jan Žegklitz, Petr Pošík|arXiv (Cornell University)|2017. 01. 13.

Evolutionary Algorithms and Applications참고 문헌 4인용 수 9

한 줄 요약

이 논문은 수렴 속도를 높이기 위해 내장된 선형 회귀를 통합한 세 가지 기호 회귀 알고리즘 — EFS, FFX, GPTIPS — 를 비교한다. 합성 및 실세계 기준 데이터셋에서 기본 설정을 사용하여 평가한 결과, FFX와 EFS는 더 빠르고 일관성 있는 성능을 보였고, GPTIPS는 더 높은 변동성을 보였다. 모든 알고리즘은 백박스 모델을 생성하지만, 전통적인 머신러닝 방법(예: 랜덤 포레스트)은 종종 더 높은 정확도를 달성한다.

ABSTRACT

Recently, several algorithms for symbolic regression (SR) emerged which employ a form of multiple linear regression (LR) to produce generalized linear models. The use of LR allows the algorithms to create models with relatively small error right from the beginning of the search; such algorithms are thus claimed to be (sometimes by orders of magnitude) faster than SR algorithms based on vanilla genetic programming. However, a systematic comparison of these algorithms on a common set of problems is still missing. In this paper we conceptually and experimentally compare several representatives of such algorithms (GPTIPS, FFX, and EFS). They are applied as off-the-shelf, ready-to-use techniques, mostly using their default settings. The methods are compared on several synthetic and real-world SR benchmark problems. Their performance is also related to the performance of three conventional machine learning algorithms --- multiple regression, random forests and support vector regression.

연구 동기 및 목표

• 최근의 기호 회귀 알고리즘 중 내장된 선형 회귀를 사용하는 것들이 수렴 속도 향상에 얼마나 기여하는지 평가하고 비교하는 것.
• EFS, FFX, GPTIPS가 표준 기준 데이터셋에서 즉시 사용 가능한 도구로서의 성능을 평가하는 것.
• 기본적인 기계학습 모델(LR, RF, SVR)과 비교하여 기호 회귀 결과의 정확도와 해석 가능성에 대해 평가하는 것.
• 이러한 방법들이 기본 설정 하에서 성능 트렌드와 한계를 밝혀내는 것.
• 향후 기호 회귀 연구에서 기준 데이터 확장과 하이퍼파라미터 튜닝을 위한 기초를 마련하는 것.

제안 방법

• 연구는 EFS, FFX, GPTIPS를 기본 설정을 그대로 사용한 즉시 사용 가능한 기호 회귀 도구로 활용하며, 내부 수정 없이 수행된다.
• EFS와 FFX는 경로 기반 정규화 학습을 사용하여 기저 함수의 선형 계수를 최적화하여 빠른 수렴을 가능하게 한다.
• GPTIPS는 다유전자 유전적 프로그래밍을 사용하며, 전통적인 다중 선형 회귀를 통해 계수를 계산함으로써 모델의 표현력을 향상시킨다.
• 모든 방법은 비선형 기저 함수를 선형 조합으로 조합하여 일반화된 선형 모델을 생성한다.
• 성능 평가에는 차원 수와 노이즈 수준이 다양한 다섯 개인 합성 기준 데이터셋과 네 개인 실세계 기준 데이터셋을 포함한다.
• 성능 평가는 중앙 오차와 런타임을 기준으로 하며, 결과는 다중 선형 회귀, 랜덤 포레스트, 서포트 벡터 회귀와 비교된다.

실험 결과

연구 질문

• RQ1 표준 기호 회귀 기준 데이터셋에서 EFS, FFX, GPTIPS는 정확도와 런타임 측면에서 어떻게 비교되는가?
• RQ2 내장된 선형 회귀를 갖춘 기호 회귀 방법은 전통적인 머신러닝 모델보다 예측 정확도에서 뛰어나거나 동등한 성능을 내는가?
• RQ3 확률적(예: EFS, GPTIPS)과 결정적(예: FFX) 기호 회귀 알고리즘 간의 성능 차이는 어떠한가?
• RQ4 모델 복잡도와 특징 차원 수는 이러한 기호 회귀 방법의 런타임과 정확도에 어떤 영향을 미치는가?
• RQ5 내장된 선형 회귀를 갖춘 기호 회귀 알고리즘은 실용적이고 즉시 사용 가능한 수준에 도달했는가?

주요 결과

• FFX는 대부분의 데이터셋에서 런타임이 가장 빠르며, 중앙값 기준 10초 이내로 기록되었고, 여러 기준 데이터셋에서 전체적으로 가장 빠른 성능을 보였다.
• EFS는 데이터셋 간 일관된 성능을 보였으며, 런타임이 특징 수에 따라 선형적으로 증가했고, 1차원 데이터셋에서는 0.33초에서 8차원 데이터셋에서는 25.42초까지 증가했다.
• GPTIPS와 mGPTIPS는 대부분의 데이터셋에서 가장 긴 중앙값 런타임을 기록했으며, 40초를 초과했고, ENC와 ENH를 제외한 대부분의 경우 FFX보다 느렸다.
• 빠른 수렴에도 불구하고, FFX와 EFS는 정확도에서 GPTIPS를 일관되게 앞서지 못했지만, 결과의 변동성이 더 낮았다.
• 전통적인 머신러닝 모델, 특히 랜덤 포레스트(RF)는 대부분의 기준 데이터셋에서 모든 기호 회귀 방법보다 더 높은 정확도를 달성했다.
• 기호 회귀 모델과 전통적 모델 간의 정확도 격차는 상대적으로 작았지만, 기호 모델는 백박스 방정식 형태로 제공되는 해석 가능성이라는 핵심 이점을 지녔다.