[논문 리뷰] Deep symbolic regression: Recovering mathematical expressions from data via policy gradients

Brenden K. Petersen|arXiv (Cornell University)|2019. 12. 10.

Evolutionary Algorithms and Applications인용 수 9

한 줄 요약

이 논문은 정책 기반 강화학습을 사용하여 복잡한 수학적 표현을 탐색하는 순환 신경망을 제안하며, 노이즈가 있는 데이터와 없는 데이터에서 유전적 프로그래밍보다 뛰어난 성능을 보인다. 이 방법은 심볼릭 회귀 문제를 순차적 결정 문제로 모델링하여 계층적, 길이가 변하는 심볼릭 표현의 정확한 복원을 가능하게 하며, 사전 제약 조건을 통합한다.

ABSTRACT

Discovering the underlying mathematical expressions describing a dataset is a core challenge for artificial intelligence. This is the problem of symbolic regression. Despite recent advances in training neural networks to solve complex tasks, deep learning approaches to symbolic regression are lacking. We propose a framework that combines deep learning with symbolic regression via a simple idea: use a large model to search the space of small models. More specifically, we use a recurrent neural network to emit a distribution over tractable mathematical expressions, and employ reinforcement learning to train the network to generate better-fitting expressions. Our algorithm significantly outperforms standard genetic programming-based symbolic regression in its ability to exactly recover symbolic expressions on a series of benchmark problems, both with and without added noise. More broadly, our contributions include a framework that can be applied to optimize hierarchical, variable-length objects under a black-box performance metric, with the ability to incorporate a priori constraints in situ.

연구 동기 및 목표

• 인공지능과 과학적 발견의 핵심 문제인 데이터로부터 기저의 수학적 표현을 발견하는 데 도전하는 것.
• 기존 딥 러닝 접근법의 한계를 극복하여 복잡한 표현에 대해 효과적인 탐색 메커니즘이 부족한 문제를 해결하는 것.
• 블랙박스 성능 지표 하에서 계층적, 길이가 변하는 심볼릭 표현에 대해 효율적이고 미분 가능한 탐색을 가능하게 하는 프레임워크를 개발하는 것.
• 사전 제약 조건을 탐색 과정에 직접 통합하여 학습된 표현의 일반화 능력과 해석 가능성 향상.
• 기본 유전적 프로그래밍 대비 벤치마크 문제에서 정확한 심볼릭 표현 복원 성능을 뛰어나게 하는 것.

제안 방법

• 정책 기반 강화학습을 통해 순환 신경망(RNN)을 훈련하여 심볼릭 표현을 토큰의 시퀀스로 생성함으로써, 탐색 공간을 순차적 결정 문제로 모델링.
• RNN은 식의 다음 가능한 기호들에 대한 확률 분포를 출력하여 수학적 표현의 공간을 확률적 탐색 가능하게 함.
• 강화학습은 생성된 표현이 관측된 데이터에 얼마나 잘 맞는지에 따라 보상을 기반으로 RNN 정책을 최적화하며, 정확한 일치는 높은 보상을 받음.
• 이 방법은 길이가 변하는 표현과 계층적 구조를 지원하여 중첩된 함수나 연산과 같은 복잡한 수학적 구성 요소를 다룰 수 있음.
• 변수 유형이나 함수 형태와 같은 제약 조건은 액션 공간이나 보상 형상화에 직접 통합되어 도메인 지식을 실시간으로 통합 가능.
• 프레임워크는 정책 기반 강화학습 방법을 사용해 엔드 투 엔드로 훈련되며, RNN을 통해 역전파된 기울기를 이용해 시간이 지남에 따라 표현 생성 능력을 향상함.

실험 결과

연구 질문

• RQ1 딥 강화학습 접근법이 기존의 유전적 프로그래밍보다 데이터로부터 정확한 심볼릭 표현을 회복하는 데 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 이러한 방법은 노이즈 수준이 다양한 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ3 청각적 제약 조건(예: 함수 형태, 변수 유형 등)은 심볼릭 표현 탐색 과정에 얼마나 효과적으로 통합될 수 있는가?
• RQ4 블랙박스 성능 지표 하에서 계층적, 길이가 변하는 심볼릭 구조를 효과적으로 탐색할 수 있는가?
• RQ5 정책 기반 기울기 방법을 사용함으로써 기울기 없는 진화적 방법 대비 더 효율적이고 정확한 심볼릭 회귀를 달성할 수 있는가?

주요 결과

• 제안된 방법은 노이즈가 있는지 여부에 관계없이 기준 벤치마크 문제에서 표준 유전적 프로그래밍보다 심볼릭 표현 복원 성능이 뛰어나게 개선됨.
• 기존의 진화적 알고리즘으로는 발견하기 어려운 복잡한 수학적 표현의 정확한 복원을 달성함.
• 노이즈에 대해 뛰어난 내성성을 보이며, 훈련 데이터에 심각한 편향이 존재하더라도 높은 정확도를 유지함.
• 사전 제약 조건을 탐색 과정에 통합함으로써 발견된 표현의 품질과 해석 가능성 향상.
• 정책 기반 기울기 방법을 사용함으로써 심볼릭 표현 공간에서 효과적이고 미분 가능한 탐색이 가능해져 수렴 속도 향상과 더 나은 일반화 성능 달성.
• 블랙박스 평가 하에서 구조적, 계층적, 길이가 변하는 객체에 대한 최적화 작업으로 일반화 가능함.