[논문 리뷰] Correlation versus RMSE Loss Functions in Symbolic Regression Tasks

Nathan Haut, Wolfgang Banzhaf외 1명|arXiv (Cornell University)|2022. 05. 31.

Evolutionary Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 기존의 RMSE 대신 기호 회귀에서 피어슨 상관계수(R²)를 적합도 함수로 사용하는 것을 제안한다. 진화 과정에서 R²를 최대화하고 후처리 단계에서 선형 보정을 적용함으로써, 특히 노이즈가 있거나 복잡한 벤치마크(예: 페인만 데이터셋)에서 RMSE보다 빠른 수렴 속도, 높은 정확도, 더 적은 학습 데이터 포인트를 요구하는 결과를 얻는다.

ABSTRACT

The use of correlation as a fitness function is explored in symbolic regression tasks and the performance is compared against the typical RMSE fitness function. Using correlation with an alignment step to conclude the evolution led to significant performance gains over RMSE as a fitness function. Using correlation as a fitness function led to solutions being found in fewer generations compared to RMSE, as well it was found that fewer data points were needed in the training set to discover the correct equations. The Feynman Symbolic Regression Benchmark as well as several other old and recent GP benchmark problems were used to evaluate performance.

연구 동기 및 목표

• 기본적인 RMSE 적합도 함수를 기호 회귀에서 유전적 프로그래밍의 성능 향상에 기여하는 상관계수 기반 적합도 함수로 대체할 수 있는지 조사하기 위해.
• 다양한 기호 회귀 벤치마크에서 상관계수 기반 적합도가 수렴 속도와 해의 정확도에 미치는 영향을 평가하기 위해.
• 노이즈와 다양한 데이터 포인트 수에 대한 상관계수 기반 적합도의 강건성을 평가하기 위해.
• 상관계수를 주된 적합도 지표로 사용할 경우 후처리 단계에서 선형 보정이 모델 품질을 얼마나 향상시키는지 확인하기 위해.

제안 방법

• 기호 회귀에서 표준 RMSE 적합도 함수를 대체하여 기호 회귀 유전적 프로그래밍에서 R²(결정계수)를 주요 적합도 지표로 사용하기 위해.
• 예측값과 목표값 간의 선형 관계의 강도를 강조하기 위해 진화 과정에서 R²를 최대화하여 척도에 관계없이 독립적으로 작용하도록 하기 위해.
• 유전자로 도출된 모델의 출력을 진짜 목표값과 일치시키기 위해 후처리 단계에서 선형 회귀를 적용하여 절대 오차를 최소화하기 위해: $\operatorname*{argmin}_{a_0,a_1} \sum_{i=1}^{N} |y_i - (a_1\hat{y}_i + a_0)|$.
• 페인만 기호 회귀 벤치마크와 기타 기존의 GP 벤치마크를 사용하여 노이즈 수준과 데이터 포인트 수의 변화에 따른 성능 평가를 수행하기 위해.
• 98개의 벤치마크 문제에서 상관계수 기반 및 RMSE 기반 적합도 함수 간의 결과를 비교하기 위해.
• 수렴 속도(해에 도달하는 세대 수), 해의 정확도(RMSE), 정확한 식 발견 성공률을 측정하여 성능를 평가하기 위해.

실험 결과

연구 질문

• RQ1 상관계수를 적합도 함수로 사용할 경우 RMSE보다 기호 회귀에서 더 빠른 수렴을 이룰 수 있는가?
• RQ2 상관계수 기반 적합도는 RMSE보다 더 적은 학습 데이터 포인트로도 정확한 기호 식을 발견할 수 있는가?
• RQ3 노이즈 조건 하에서 상관계수 기반 적합도는 RMSE보다 어떻게 성능을 발휘하는가?
• RQ4 후처리 단계에서 선형 보정이 상관계수 기반 적합도로 유도된 모델의 품질을 얼마나 향상시키는가?
• RQ5 복잡하고 노이즈가 많은 문제들에 걸쳐 상관계수 기반 적합도의 성능 우위가 유지되는가?

주요 결과

• 상관계수 기반 적합도 함수는 뚜렷한 성능 향상을 이룩하였으며, 46개의 벤치마크 문제를 완벽하게 해결하였다. 이 중 29개는 RMSE 방법으로는 완벽하게 해결되지 않았다.
• 200개의 데이터 포인트와 10%의 노이즈 조건에서, 상관계수 방법은 98개의 테스트 케이스 중 79개에서 RMSE를 능가하였다.
• 비트리비어한 노이즈가 있는 문제들(식 24–26)에서는 상관계수 기반 적합도 함수가 RMSE보다 항상 더 빠르고 안정적인 수렴을 보였다.
• 정확한 식을 발견하기 위해 더 적은 데이터 포인트가 필요하여 데이터 효율성이 향상됨을 입증하였다.
• 식에 상수항이 포함될 경우, RMSE 기반 적합도 함수는 그 크기에 매우 민감해졌지만, 상관계수 기반 방법은 여전히 강건성을 유지하였다.
• 높은 상수(예: 50) 조건에서도 상관계수 방법은 강력한 성능 유지를 보였고, 특히 노이즈가 없는 조건에서는 RMSE의 성능이 급격히 악화되었다.