[논문 리뷰] Symbolic Regression for Space Applications: Differentiable Cartesian Genetic Programming Powered by Multi-objective Memetic Algorithms

Marcus Märtens, Dario Izzo|arXiv (Cornell University)|2022. 06. 13.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 기하학적 표현을 기반으로 하는 기계학습 모델의 해석 가능성 부족 문제를 해결하기 위해, 기호적 회귀 모델을 동시에 학습하는 동안 수치 상수를 정밀하게 조정할 수 있는 미분 가능 카르토지안 유전적 프로그래밍(dCGP)을 사용하는 다목적 메믹 알고리즘을 제안한다. 이 방법은 두 가지 우주 응용 분야—화성 탐사선 마스 화성의 열역학적 출력 추정 및 항성 연령 예측—에서 최신 기계학습 모델을 능가하거나 그에 준하는 성능을 보이며, 희소한 데이터 조건에서도 잘 일반화되는 수학적으로 해석 가능한 식을 생성한다.

ABSTRACT

Interpretable regression models are important for many application domains, as they allow experts to understand relations between variables from sparse data. Symbolic regression addresses this issue by searching the space of all possible free form equations that can be constructed from elementary algebraic functions. While explicit mathematical functions can be rediscovered this way, the determination of unknown numerical constants during search has been an often neglected issue. We propose a new multi-objective memetic algorithm that exploits a differentiable Cartesian Genetic Programming encoding to learn constants during evolutionary loops. We show that this approach is competitive or outperforms machine learned black box regression models or hand-engineered fits for two applications from space: the Mars express thermal power estimation and the determination of the age of stars by gyrochronology.

연구 동기 및 목표

• 비투명한 기계학습 모델이 우주의 핵심 응용 분야에서 해석 가능성이 떨어지는 문제를 해결하기 위해.
• 기호적 회귀에서 기계학습 과정 중 수치 상수를 학습하는 데에 제한이 존재하는 문제를 극복하기 위해.
• 희소한 데이터로부터 정확하고 단순하며 해석 가능한 수학적 식을 자동으로 발견하는 방법을 개발하기 위해.
• 물리적으로 의미 있는 대수적 구조를 활용하여 천체 과학 분야의 도메인 간 격차를 메우는 일반화 능력을 확보하기 위해.
• 다목적 최적화를 통해 모델 정확도와 복잡도의 균형을 맞출 수 있는 의사결정 지원 도구를 제공하기 위해.

제안 방법

• 이 방법은 기호적 식을 미분 가능한 노드를 가진 방향성 비순환 그래프로 표현하는 기호적 유전적 프로그래밍(dCGP)을 사용한다.
• 식 내부의 수치 상수는 진화 루프 동안 기울기 기반 최적화를 통해 학습되며, 계수의 정밀한 조정이 가능해진다.
• 다목적 메믹 알고리즘(MOMES)은 진화적 탐색과 국소 탐색 휴리스틱을 결합하여 모델 정확도와 식의 복잡도를 동시에 최적화한다.
• 알고리즘은 비열등한 해의 집합을 유지하여, 해석 가능성과 성능 사이의 트레이드오프를 시각화하고 선택할 수 있도록 한다.
• 진화 연산자인 변형과 교배가 dCGP 유전자형에 적용되며, 각 세대에서 기울기 하강법을 사용해 상수를 정밀하게 보정한다.
• 최종 식은 테스트 세트에서 평가되며, 신경망, 가우시안 프로세스, 랜덤 포레스트와 같은 표준 기계학습 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 미분 가능한 CGP는 기호적 회귀 과정에서 수치 상수를 효과적으로 학습할 수 있는가? 이는 모델 정확도 향상에 기여하는가?
• RQ2 제안된 다목적 메믹 알고리즘은 기호적 식에서 정확도와 해석 가능성 사이의 균형을 어떻게 유지하는가?
• RQ3 dCGP 기반 모델은 항성 연령 예측과 같은 천체 과학 응용 분야에서 도메인 간 격차를 어떻게 극복하고 일반화하는가?
• RQ4 기계학습 모델이 간과하는 데이터의 구조적 특성이나 과적합의 징후를 기계적으로 유도된 기호적 식이 어떻게 드러내는가?
• RQ5 실제 우주 데이터셋에서 dCGP 모델은 최신 기계학습 모델에 비해 성능에서 어떤가?

주요 결과

• 화성 탐사선 마스 화성 열역학적 출력 추정 벤치마크에서 dCGP는 평균 절대 오차(MAE) 0.41을 기록하여 선형 회귀를 능가하고 최고 성능을 보인 모델과 동등한 성능을 보였다.
• 항성 연령 예측 벤치마크 B1에서 dCGP는 MAE 1.41을 기록하여 대부분의 기계학습 모델을 능가했으며, 도메인 간 격차를 넘어서는 강력한 일반화 능력을 보였다.
• 벤치마크 B2에서 단순한 식 $x_6 - \sin(x_1 - x_4) + 6.987$ 이 MAE 1.39를 기록하여 신경망과 가우시안 프로세스를 포함한 모든 다른 모델을 능가했다.
• 파레토 프론트 분석 결과, dCGP 식은 특히 데이터가 희소한 환경에서 비투명한 모델보다 해석 가능성이 높고 과적합의 위험이 낮았다.
• 벤치마크 B2에서 훈련 오차와 테스트 오차 간 상관관계가 낮아, 단순한 식의 성공이 과적합이 아닌 진정한 일반화를 반영하고 있음을 시사했다.
• 벤치마크 C에서 최고의 dCGP 식은 MAE 15.63을 기록하여 가우시안 프로세스에 이어 두 번째로 높은 성능을 보이며 도전적인 데이터셋에서 뛰어난 성능을 입증했다.