[논문 리뷰] Neural-Guided Symbolic Regression with Semantic Prior.

Li Li, Minjie Fan외 2명|arXiv (Cornell University)|2019. 01. 23.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 신호 회귀를 위한 신경망 유도 몽테카를로 트리 탐색(NG-MCTS)을 제안하며, 입력 극한에서의 주요 거듭제곱 항을 포함한 의미론적 사전 지식을 표현 탐색에 통합한다. 이 방법은 기존의 기준보다 정확하고 일반화 가능한 기호 표현을 발견하는 데서 뚜렷한 성능 향상을 보이며, 훈련 분포 외부의 표현도 포함한다.

ABSTRACT

Symbolic regression has been shown to be quite useful in many domains from discovering scientific laws to industrial empirical modeling. Existing methods focus on numerically fitting the given data. However, in many domains, symbolically derivable properties of the desired expressions are known. We illustrate these semantic priors with leading powers (the polynomial behavior as the input approaches 0 and $\infty$). We introduce an expression generating neural network that significantly favors the generation of expressions with desired leading powers, even generalizing to powers not in the training set. We then describe our Neural-Guided Monte Carlo Tree Search (NG-MCTS) algorithm for symbolic regression. We extensively evaluate our method on thousands of symbolic regression tasks and desired expressions to show that it significantly outperforms baseline algorithms and exhibits discovery of novel expressions outside of the training set.

연구 동기 및 목표

• 기존 기호 회귀 방법이 목표 표현의 알려진 의미론적 성질을 忽시하는 한계를 해결하기 위해.
• 입력 극한에서의 다항식 행동과 같은 도메인 특화 지식을 기호 표현 탐색 과정에 통합하기 위해.
• 훈련 데이터에 포함되지 않은 새로운 주요 거듭제곱 항에도 일반화 가능한 신경망 유도 탐색 알고리즘을 개발하기 위해.
• 의미론적 사전 지식을 신경망 유도 방식으로 활용하여 수천 개의 벤치마크 작업에서 기호 회귀 성능을 향상시키기 위해.

제안 방법

• 신경망은 훈련 중에 볼 수 없었던 거듭제곱 항에 대해서도 입력 → 0 및 ∞에서의 행동을 선호하는 기호 표현을 생성하도록 훈련된다.
• 신경망은 몽테카를로 트리 탐색(MCTS) 프레임워크 내의 정책 모델으로 기능하며, 원하는 의미론적 성질을 지닌 표현 쪽으로 탐색을 유도한다.
• NG-MCTS는 신경 정책과 트리 탐색을 통합하여 의미론적 제약 조건을 유지하면서도 기호 표현 공간을 효율적으로 탐색할 수 있도록 한다.
• 표현 생성 과정을 통해 역전파가 가능한 가중치를 갖는 차별 가능한 아키텍처를 사용하여 신경 정책의 엔드 투 엔드 훈련을 가능하게 한다.
• 의미론적 사전 지식은 신경망의 아키텍처와 손실 함수에 인덕티브 바이어스로 코딩되며, 특히 점점 커지는 행동에 중점을 둔다.
• 탐색 과정은 신경 정책 점수와 트리 탐색 통계를 모두 기반으로 하여 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 기존의 주요 거듭제곱과 같은 알려진 의미론적 사전 지식을 통합한 신경망 유도 탐색 방법이 기호 회귀 성능을 향상시킬 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 주요 거듭제곱 항에 대해 이 방법은 얼마나 잘 일반화되는가?
• RQ3 다양한 기호 회귀 작업 전반에서 NG-MCTS는 표준 기준 기반 기법보다 뛰어난 성능을 보이는가?
• RQ4 이 방법은 훈련 분포 외부의 새로운 정확한 표현을 얼마나 잘 발견할 수 있는가?
• RQ5 신경 생성과 MCTS의 통합은 기호 표현 탐색에 얼마나 효과적인가?

주요 결과

• NG-MCTS는 수천 개의 기호 회귀 작업 전반에서 기준 알고리즘보다 뚜렷이 뛰어난 정확도와 샘플 효율성을 보이며, 성능 향상을 입증한다.
• 신경망 유도 접근법은 훈련 데이터에 포함되지 않은 주요 거듭제곱 항에도 일반화되며, 강력한 인덕티브 바이어스 학습 능력을 보여준다.
• 이 방법은 훈련 세트에 포함되지 않은 새로운 기호 표현을 성공적으로 발견하여, 내삽을 초월한 진정한 일반화 능력을 보여준다.
• 신경 유도를 통한 의미론적 사전 지식 통합은 제약 없는 탐색에 비해 수렴 속도를 높이고 더 우수한 해를 도출한다.
• 신경 정책는 다항식 성장과 같은 원하는 점점 커지는 행동(예: 0과 ∞에서)을 효과적으로 포착하고 강제함으로써 탐색 품질을 향상시킨다.