[논문 리뷰] Globally Optimal Symbolic Regression

Vernon Austel, Sanjeeb Dash외 5명|arXiv (Cornell University)|2017. 10. 29.

Evolutionary Algorithms and Applications참고 문헌 16인용 수 14

한 줄 요약

이 논문은 혼합정수비선형계획법(MINLP)을 사용하여 주어진 오차 범위 내에서 데이터와 가장 잘 맞는 가장 단순한 수학적 표현을 발견하는 전역 최적의 기호 회귀 방법을 제시한다. 이 방법은 전역 최적성 보장을 제공하며, 정확한 실수형 상수를 직접 계산하고, 실제 데이터로부터 케플러의 제3법칙과 갈릴레오의 단순진자 방정식을 성공적으로 재발견한다.

ABSTRACT

In this study we introduce a new technique for symbolic regression that guarantees global optimality. This is achieved by formulating a mixed integer non-linear program (MINLP) whose solution is a symbolic mathematical expression of minimum complexity that explains the observations. We demonstrate our approach by rediscovering Kepler's law on planetary motion using exoplanet data and Galileo's pendulum periodicity equation using experimental data.

연구 동기 및 목표

• 관측된 데이터를 설명하는 가장 단순한 수학적 표현을 찾는 데 전역 최적성을 보장하는 기호 회귀 방법을 개발하는 것.
• 유전적 프로그래밍과 같은 히우리스틱 방법의 한계를 극복하여 최적성 보장이 없고 상수 조정을 위해 후처리가 필요한 문제를 해결하는 것.
• 기호 회귀를 혼합정수비선형계획문제(MINLP)로 공식화하여 표현 복잡도와 예측 오차를 직접 최적화하는 것.
• 최적화 프레임워크를 통해 도메인 제약 조건과 사용자 선호도를 원활하게 통합하는 것.
• 실제 물리적 데이터셋, 특히 외계행성 궤도 데이터와 진자 운동 실험 데이터를 대상으로 이 방법의 효과성을 입증하는 것.

제안 방법

• 기호 회귀를 혼합정수비선형계획문제(MINLP)로 공식화하여 이산 변수가 표현 트리의 구조를 정의하고 연속 변수가 예측을 계산하도록 하는 것.
• 유효하고 크기가 제한된 표현 트리만을 고려하기 위해 문법 기반 제약 조건 집합을 사용하는 것.
• 간단함을 우선시하기 위해 표현 복잡도(노드 수 또는 연산 수 등)를 목적 함수로 최소화하는 것.
• 예측값과 관측값 간의 거리 측도를 통해 최대 상대 오차 한계를 설정하여 모델의 정밀도를 제어하는 것.
• 브랜치 앤 바운드와 볼록 근사화를 사용하는 최신 전역 MINLP 솔버(BARON, SCIP 등)를 활용하여 전역 최적성 보장을 확보하는 것.
• 기타 방법에서 별도의 校정 단계가 필요한 것을 방지하기 위해 최적화 과정 내에서 실수형 상수를 직접 계산하는 것.

실험 결과

연구 질문

• RQ1 기호 회귀 문제를 히우리스틱 탐색 대신 수학적 프로그래밍을 사용하여 전역 최적해로 풀 수 있는가?
• RQ2 MINLP 공식화가 동시에 표현의 단순함, 정확성, 정확한 상수 추정을 보장할 수 있는가?
• RQ3 실제 물리적 데이터셋에서 히우리스틱 방법과 비교하여 제안된 방법의 해 품질과 계산 효율성은 어떠한가?
• RQ4 노이즈가 있거나 데이터가 불완전한 상황에서 이 방법이 케플러의 제3법칙과 진자 주기 방정식과 같은 알려진 물리 법칙을 얼마나 잘 재발견할 수 있는가?
• RQ5 오차 허용 한계가 변화함에 따라 이 방법은 과적합과 모델 단순함의 상호 보완적 관계를 어떻게 다루는가?

주요 결과

• 이 방법은 외계행성 데이터에서 케플러의 제3법칙 $ d = \sqrt[3]{c\tau^2M} $을 최대 상대 오차 2% 이내로 재발견하였고, 이는 전역 최적임을 인증하였다.
• 진자 데이터의 경우, 정확한 물리적 형태 $ t_j = \pi j \sqrt{\ell/g} $를 상수 $ \pi/\sqrt{g} \approx 1.002 $에 매우 가까운 값으로 회복하였으며, 실험 오차 범위 내에 있었다.
• 평균적으로 이 문제들은 50분(표준편차 75분) 내에 해결되었고, 6시간 제한 시간 내에 95%의 경우가 전역 최적임이 확인되었다.
• 브랜치 앤 바운드 알고리즘이 탐색한 노드 수는 다양하게 변동(147에서 60만 이상)했으며 기하 평균은 19,917였고, 이는 약 $ \approx 2 \times 10^7 $개의 가능한 표현 트리보다 훨씬 낮았다.
• 더 높은 오차 한계(예: 30%)에서는 $ \sqrt{\tau} $ 또는 $ cj $와 같은 더 단순한 공식이 반환되어 단순함과 정확성 간의 상호 보완적 관계를 반영하였다.
• 연결 길이가 유사한 경우에도 이 방법은 진자 데이터에서 올바른 $ j\sqrt{\ell} $ 형태를 정확히 식별하여 데이터 중복성과 실험 노이즈에 대한 강건성을 보였다.