[논문 리뷰] Elite Bases Regression: A Real-time Algorithm for Symbolic Regression

Chen Chen, Changtong Luo외 1명|arXiv (Cornell University)|2017. 04. 24.

Evolutionary Algorithms and Applications참고 문헌 14인용 수 6

한 줄 요약

이 논문은 실시간으로 작동하는 비진화적 기호 회귀 알고리즘인 엘리트 기저 회귀(Elective Bases Regression, EBR)를 제안한다. EBR는 상관계수를 통해 선택된 가장 상관도 높은 기저 함수들만 반복적으로 유지하고 갱신함으로써 모델 발견을 가속화한다. 나머지 기저 함수는 기각한다. EBR는 FFX보다 더 낮은 정규화 평균 제곱 오차(NMSE)와 더 간결한 모델을 달성하며, 대규모 선형 시스템 해법을 피하기 때문에 더 빠른 계산 성능을 보인다.

ABSTRACT

Symbolic regression is an important but challenging research topic in data mining. It can detect the underlying mathematical models. Genetic programming (GP) is one of the most popular methods for symbolic regression. However, its convergence speed might be too slow for large scale problems with a large number of variables. This drawback has become a bottleneck in practical applications. In this paper, a new non-evolutionary real-time algorithm for symbolic regression, Elite Bases Regression (EBR), is proposed. EBR generates a set of candidate basis functions coded with parse-matrix in specific mapping rules. Meanwhile, a certain number of elite bases are preserved and updated iteratively according to the correlation coefficients with respect to the target model. The regression model is then spanned by the elite bases. A comparative study between EBR and a recent proposed machine learning method for symbolic regression, Fast Function eXtraction (FFX), are conducted. Numerical results indicate that EBR can solve symbolic regression problems more effectively.

연구 동기 및 목표

• 대규모 문제에 대해 유전적 프로그래밍(GP)의 느린 수렴성과 반복 불가능성 문제를 해결한다.
• 경로별 정규화 과정에서 대규모 선형 시스템을 풀어야 하는 FFX의 계산 병목 현상을 극복한다.
• 정확도, 단순성, 속도를 균형 있게 고려하는 결정론적 실시간 기호 회귀 방법을 개발한다.
• 계산 시간과 메모리 사용량을 줄여 공학 및 데이터 분석 분야에서 기호 회귀의 실용적 구현을 가능하게 한다.

제안 방법

• 특정 매핑 규칙에 따라 파싱 행렬을 사용해 후보 기저 함수를 인코딩하여 체계적인 기호 표현을 생성한다.
• 목표 함수와의 상관계수를 사용해 각 후보 기저의 관련성을 평가하고 순위를 매긴다.
• 각 반복에서 상위-n개의 가장 상관도 높은 기저(엘리트 기저)만 유지하고 나머지는 기각함으로써 계산 부담을 줄인다.
• 일반화선형모형(GLM) 피팅을 통해 엘리트 기저들의 선형 조합으로 최종 회귀 모델을 구성한다.
• 엘리트 기저들만 고려함으로써 대규모 선형 시스템을 풀 필요가 없어져 실시간 성능을 달성한다.
• 유지할 엘리트 기저의 수를 조절하는 제어 변수 $ n_{presv} $ 를 사용하여 정확도와 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 비진화적 기호 회귀 방법이 GP보다 더 빠른 수렴성을 달성하면서도 정확도를 유지할 수 있는가?
• RQ2 대규모 선형 시스템을 풀 필요 없이 실시간 성능 향상이 가능할 수 있는가?
• RQ3 가장 상관도 높은 기저들만 선택하면 전체 기저 열거에 비해 더 단순하고 정확한 모델을 도출할 수 있는가?
• RQ4 기준 문제에서 EBR는 FFX에 비해 모델 단순성, NMSE, 계산 비용 측면에서 어떻게 비교되는가?
• RQ5 엘리트 기저 수($ n_{presv} $)가 모델 정확도와 계산 효율성에 미치는 영향은 무엇인가?

주요 결과

• EBR는 모든 테스트 케이스에서 FFX보다 유의미하게 낮은 정규화 평균 제곱 오차(NMSE)를 달성하며, 여러 케이스에서 NMSE 값이 항상 1% 이하로 유지된다.
• EBR는 FFX보다 더 간결한 회귀 모델을 생성한다. 예를 들어, 케이스 24에서는 EBR가 14개의 기저를 사용한 반면 FFX는 16개를 사용했고, 오차는 더 낮았다.
• 매우 비선형적인 함수(예: 케이스 17, 21, 24)에 대해서도 EBR는 모델 단순성과 정확도 측면에서 FFX를 초월하여, 더 우수한 구조 최적화 성능을 보였다.
• 특히 $ n_{presv} = 35 $ 일 경우, 복잡한 1차원 및 2차원 비선형 모델에서 NMSE ≤ 5% 달성을 실패했지만, $ n_{presv} $ 를 200으로 증가시키면 더 높은 기저 수를 활용해 정확한 근사치를 도출할 수 있었다.
• 더 많은 기저를 사용함에도 불구하고 EBR는 FFX보다 더 낮은 NMSE를 유지하여, 복잡한 기능 형태를 포착하는 데 있어 뛰어난 강건성과 효과성을 입증했다.
• 대규모 선형 시스템 해법을 피함으로써 EBR는 실시간 계산을 가능하게 하여, 실용적이고 시간 민감한 응용 분야에 적합하다.