[논문 리뷰] Interpretable Scientific Discovery with Symbolic Regression: A Review

Nour Makke, Sanjay Chawla|arXiv (Cornell University)|2022. 11. 20.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 데이터에서 직접 해석 가능한 인간이 읽을 수 있는 수학적 표현을 발견하는 방법으로서의 기호적 회귀(SR)를 검토하며, 전통적인 유전적 프로그래밍과 현대의 딥러닝 기반 접근법(예: 트랜스포머 및 강화학습)을 비교한다. 딥러닝 기반 SR 방법은 합성 데이터에서 뛰어난 성능을 보이지만, 수학적 연산의 라이브러리가 제한적이거나 도메인 특화 지식이 통합되지 않은 경우 복잡한 표현을 복원하는 데 어려움이 남을 것으로 지적된다.

ABSTRACT

Symbolic regression is emerging as a promising machine learning method for learning succinct underlying interpretable mathematical expressions directly from data. Whereas it has been traditionally tackled with genetic programming, it has recently gained a growing interest in deep learning as a data-driven model discovery method, achieving significant advances in various application domains ranging from fundamental to applied sciences. This survey presents a structured and comprehensive overview of symbolic regression methods and discusses their strengths and limitations.

연구 동기 및 목표

• 과학적 발견을 위한 기호적 회귀(SR) 방법에 대한 체계적이고 종합적인 개요를 제공하기 위해.
• 유전적 프로그래밍, 딥러닝, 강화학습을 포함한 다양한 SR 접근법의 강점과 한계를 분석하기 위해.
• 합성 및 실세계 데이터셋에서 SR 방법의 성능을 평가하고, 특히 알려진 물리 법칙을 복원하는 데에 초점을 맞추기 위해.
• SR의 핵심 과제를 특정화하기 위해, 예를 들어 라이브러리 내 수학적 연산의 선택 민감성과 딥러닝 기반 방법의 수치적 불안정성 등.
• 물리학 분야의 실제 실험 데이터에 대한 SR의 보다 넓은 적용을 촉진하여 과학적 발견과 모델의 해석 가능성 향상을 위해.

제안 방법

• 기호적 회귀는 관측된 데이터에 가장 잘 맞는 수학적 표현을 찾는 문제로 정의되며, 사전 정의된 수학적 연산과 함수 집합을 사용한다.
• 전통적 접근법은 기호적 표현의 선택, 교차, 돌연변이를 통해 표현 트리를 진화시키는 유전적 프로그래밍(GP)을 사용한다.
• 현대적 방법은 특히 트랜스포머를 활용하여 입력 변수에서 출력 표현으로의 시퀀스-투-시퀀스 매핑을 모델링함으로써 기호적 표현을 생성한다.
• 강화학습은 예측 정확도 기반 보상 신호를 최대화함으로써 수학적 표현의 탐색 공간을 탐색하는 에이전트를 훈련시키는 데 응용된다.
• 선형 기호적 회귀는 기준선으로 사용되며, 사전 정의된 특징의 선형 조합에 제약을 두어 비선형 관계를 포착할 수 있는 능력이 제한된다.
• 성능 평가는 Nguyen 및 Livermore 식과 같은 벤치마크 데이터셋을 사용하며, 다양한 라이브러리와 방법에 대해 복원률이 보고된다.

실험 결과

연구 질문

• RQ1 유전적 프로그래밍, 딥러닝, 강화학습을 포함한 다양한 기호적 회귀 방법은 정확성과 해석 가능성 측면에서 어떻게 비교되는가?
• RQ2 SR 방법은 합성 및 실세계 데이터에서 알려진 물리 법칙을 어느 정도 성공적으로 복원하는가?
• RQ3 라이브러리 기반의 수학적 연산 선택이 SR 모델의 성능와 일반화 능력에 어떻게 영향을 미치는가?
• RQ4 현재 SR 방법의 핵심 한계는 무엇인가, 특히 복잡한 비선형 표현을 다룰 때의 한계는 무엇인가?
• RQ5 기호적 회귀는 물리학 분야의 실제 실험 데이터에 효과적으로 적용될 수 있는가, 이를 통해 과학적 발견을 가능하게 할 수 있는가?

주요 결과

• 특히 트랜스포머 기반 모델을 포함한 딥러닝 기반 기호적 회귀 방법은 합성 벤치마크에서 전통적인 유전적 프로그래밍 및 선형 방법을 능가하며, 복잡한 표현에서 더 높은 복원률을 달성한다.
• NGPPS 방법은 일반적인 연산 라이브러리를 사용할 때 Nguyen-12 식(f(x,y) = x⁴ − x³ + y²/2 − y)을 복원하지 못했으며, 순수 다항식 기반일 때조차 복원률이 3%에 불과했다.
• 정의역을 [0,10]으로 확장했을 때 Nguyen-12⋆의 복원률은 약간 향상되어 12%로 상승했으며, 이는 더 넓은 데이터 범위가 발견에 도움이 될 수 있지만 성공을 보장하지는 않음을 시사한다.
• 성능는 수학적 연산의 라이브러리 선택에 매우 민감하며, 삼각함수나 지수함수와 같은 도메인 특화 함수를 포함할 경우 주기적 또는 비선형 현상의 복원에 크게 향상된다.
• 선형 기호적 회귀는 사전 정의된 모델 구조로 인해 비록 진짜 함수가 비선형이더라도 복잡한 비선형 관계를 포착할 수 없다.
• 다소의 진전에도 불구하고 기호적 회귀는 상대적으로 단순한 표현을 다루는 데에도 여전히 어려움을 겪고 있어, 현재 방법들이 광범위한 실세계 과학 응용에 충분히 견고하지 않음을 시사한다.