[논문 리뷰] Neural-Guided Symbolic Regression with Asymptotic Constraints

Li Li, Minjie Fan외 2명|arXiv (Cornell University)|2019. 01. 23.

Machine Learning and Algorithms참고 문헌 32인용 수 13

한 줄 요약

이 논문은 점점 커지는 표현 공간에서 기존 방법이 스케일링에 실패하는 상황에서 심볼릭 회귀 문제를 해결하기 위해, x→0 및 x→∞에서의 주어진 다항식 차수를 고려해 생산 규칙를 생성하는 조건부 신경망을 사용하는 점근적 제약 조건을 갖춘 신경망 가이드 심볼릭 회귀를 제안한다. 이는 대규모 심볼릭 공간을 효율적으로 탐색하기 위해 신경망 가이드 몬테카를로 트리 탐색(NG-MCTS)에 통합된다. 이 방법은 표현 공간이 10^50을 초과하는 수천 개의 작업에서 목표 식을 찾는 데 71%의 성공률을 기록하며, 이는 이전 방법들에 비해 뚜렷한 승리이다.

ABSTRACT

Symbolic regression is a type of discrete optimization problem that involves searching expressions that fit given data points. In many cases, other mathematical constraints about the unknown expression not only provide more information beyond just values at some inputs, but also effectively constrain the search space. We identify the asymptotic constraints of leading polynomial powers as the function approaches zero and infinity as useful constraints and create a system to use them for symbolic regression. The first part of the system is a conditional production rule generating neural network which preferentially generates production rules to construct expressions with the desired leading powers, producing novel expressions outside the training domain. The second part, which we call Neural-Guided Monte Carlo Tree Search, uses the network during a search to find an expression that conforms to a set of data points and desired leading powers. Lastly, we provide an extensive experimental validation on thousands of target expressions showing the efficacy of our system compared to exiting methods for finding unknown functions outside of the training set.

연구 동기 및 목표

• 기존 방법이 확장성에 실패하는 기하급수적으로 증가하는 표현 공간에서 심볼릭 회귀 문제를 해결하기 위해.
• x→0 및 x→∞에서의 점근적 제약 조건을 의미론적 사전 지식으로 삼아 검색을 안내하고 일반화 능력을 향상시키기 위해.
• 학습 데이터 외부의 주요 다항식 차수를 고려해 유효한 생산 규칙를 생성할 수 있도록 조건부 신경망을 개발하기 위해.
• 신경망 모델을 사용해 데이터 적합성과 점근적 제약 조건을 동시에 만족하는 해를 확률적으로 유도하는 신경망 가이드 몬테카를로 트리 탐색(NG-MCTS)을 설계하기 위해.
• 수천 개의 목표 식에서 실험적으로 방법을 검증하여 내삽과 외삽 모두에서 뛰어난 성능을 보여주기 위해.

제안 방법

• x→0 및 x→∞에서의 주어진 주요 차수를 기반으로 유효한 문법 생산 규칙를 예측하도록 조건부 생산 규칙 생성 신경망을 훈련한다.
• 신경망은 점근적 행동에 조건부로 문법적으로 유효한 표현의 분포를 학습하여, 훈련 중에 볼 수 없었던 주요 차수로의 일반화를 가능하게 한다.
• 신경망 가이드 몬테카를로 트리 탐색(NG-MCTS)은 신경망 모델을 사용해 유망한 표현 경로에 더 높은 확률을 할당함으로써 트리 확장을 가이드한다.
• NG-MCTS 알고리즘은 신경망 정책 점수를 사용해 탐색 트리의 노드를 우선순위 정렬함으로써 탐색과 이용의 균형을 유지한다. 이는 데이터와 점근적 제약 조건을 모두 만족하는 표현을 도출할 가능성이 높은 노드를 선별한다.
• 심볼릭 회귀와 신경망 가이드를 통합하여 표현 공간 크기가 10^50을 초과하는 영역에서도 효율적인 탐색을 가능하게 한다.
• 이 방법은 내삽(학습 데이터 피팅)과 외삽(미래 입력으로 일반화)을 모두 지원하며, RMSE와 주요 차수 편차를 통해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 x→0 및 x→∞에서의 점근적 제약 조건은 거대한 표현 공간에서 심볼릭 회귀를 안내하는 의미론적 사전 지식으로 효과적으로 활용될 수 있는가?
• RQ2 신경망은 훈련 중에 볼 수 없었던 주요 차수에 대해서도 유효한 생산 규칙를 일반화하여 생성할 수 있는가?
• RQ3 몬테카를로 트리 탐색에 신경망 가이드를 통합하면 기준 방법에 비해 심볼릭 회귀 성능이 뚜렷이 향상되는가?
• RQ4 제안된 NG-MCTS 방법은 특히 훈련 도메인을 초월해 일반화할 때 외삽 성능에서 어떻게 작동하는가?
• RQ5 학습 데이터의 노이즈가 NG-MCTS 시스템의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• NG-MCTS는 표현 공간 크기가 10^50을 초과하는 수천 개의 심볼릭 회귀 작업에서 목표 식을 찾는 데 71%의 성공률을 기록했으며, 다음으로 좋은 기준 방법은 단 23%에 그쳤다.
• 이 방법은 표현 공간 크기가 10^50을 초과하는 문제를 성공적으로 해결하여 매우 거대한 검색 공간에서도 스케일러블함을 입증했다.
• 노이즈가 있는 학습 환경에서도 NG-MCTS는 가장 낮은 중앙값 외삽 오차(Δg_ext. = 0.256)와 0의 중앙값 주요 차수 편차(ΔP[g] = 0)를 유지하여 강건성을 입증했다.
• 조건부 생산 규칙 생성 신경망은 훈련 분포 외부의 새로운 유효한 표현을 생성할 수 있었으며, 이는 훈련 중에 볼 수 없었던 주요 차수로의 효과적인 일반화를 보여주었다.
• NG-MCTS는 표준 MCTS와 진화 알고리즘(EA) 모두를 뛰어넘었으며, 특히 외삽 성능과 점근적 제약 조건 사용 시에 두드러진 성능 향상을 보였다.
• 노이즈가 있는 학습 데이터 조건에서도 NG-MCTS는 뛰어난 성능을 유지했으며, 중앙값 외삽 오차가 다른 방법들보다 3~4배 낮았고, 중앙값 주요 차수 오차는 0을 기록했다.