[논문 리뷰] Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression

Nikos Aréchiga, Francine Chen외 5명|arXiv (Cornell University)|2021. 12. 07.

Evolutionary Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 원시 실험 데이터 표를 직접 해석 가능한 기호적 식으로 매핑하는 딥 뉴럴 네트워크인 MACSYMA를 소개한다. MACSYMA는 길이와 노이즈가 다양하게 설정된 합성 데이터셋으로 훈련되어, 기계적 탐색 기법인 유전적 프로그래밍과 같은 계산 비용이 큰 방법을 회피하면서도, 행동 과학에서 알려진 주관적 효용 방정식과 같은 기존 과학 모델을 매우 높은 정확도로 복원한다. 이는 단일 피드포워드 전파를 통해 이루어지며, 계산 비용이 큰 방법을 피한다.

ABSTRACT

We consider the problem of learning free-form symbolic expressions from raw data, such as that produced by an experiment in any scientific domain. Accurate and interpretable models of scientific phenomena are the cornerstone of scientific research. Simple yet interpretable models, such as linear or logistic regression and decision trees often lack predictive accuracy. Alternatively, accurate blackbox models such as deep neural networks provide high predictive accuracy, but do not readily admit human understanding in a way that would enrich the scientific theory of the phenomenon. Many great breakthroughs in science revolve around the development of parsimonious equational models with high predictive accuracy, such as Newton's laws, universal gravitation, and Maxwell's equations. Previous work on automating the search of equational models from data combine domain-specific heuristics as well as computationally expensive techniques, such as genetic programming and Monte-Carlo search. We develop a deep neural network (MACSYMA) to address the symbolic regression problem as an end-to-end supervised learning problem. MACSYMA can generate symbolic expressions that describe a dataset. The computational complexity of the task is reduced to the feedforward computation of a neural network. We train our neural network on a synthetic dataset consisting of data tables of varying length and varying levels of noise, for which the neural network must learn to produce the correct symbolic expression token by token. Finally, we validate our technique by running on a public dataset from behavioral science.

연구 동기 및 목표

• 원시 실험 데이터에서 직접 자유형 기호 표현식을 학습할 수 있는 확장성 있고, 미분 가능한 방법을 개발한다.
• 기존의 기호 회귀 기법들인 유전적 프로그래밍이나 몬테카를로 탐색과 같은 계산적으로 비가능한 방법의 문제를 해결한다.
• 이해 가능하고 높은 정확도를 가진 과학 모델을 제공하여 이론 개발과 인간의 이해를 지원한다.
• 명시적인 문법 제약 조건이나 후행 검증에 의존하지 않고도 신경망이 문법적으로 올바른 기호 표현식을 생성하도록 훈련한다.
• 실제 과학 데이터, 특히 프로스펙트 이론을 모델링하는 행동 과학 데이터셋을 대상으로 방법을 검증한다.

제안 방법

• MACSYMA는 데이터 표를 직접 기호 표현식으로 매핑하는 엔드 투 엔드 지도 학습 문제로 기호 회귀를 재정의한다.
• 모델은 길이와 노이즈 수준이 다양하게 설정된 합성 데이터셋으로 훈련되어, 토큰 단위로 식을 생성하도록 학습된다.
• 현재 버전에서는 순환 또는 자동회귀 구성 요소가 없는 피드포워드 신경망 아키텍처를 사용한다.
• 네트워크는 입력 데이터 표에서 예측 오차를 최소화하는 기호 표현식을 예측하도록 훈련된다.
• 외부 규칙를 통한 문법적 정확성 강제 조건을 적용하지 않으며, 대신 네트워크가 암묵적으로 유효한 문법을 학습할 수 있도록 한다.
• 훈련 후 추론은 반복적 또는 검색 기반 디코딩을 피하기 위해 단일 전방 전파만을 수행한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 원시 데이터 표에서 직접 정확하고 해석 가능한 기호적 식을 생성할 수 있는가?
• RQ2 명시적인 문법 제약 조건 없이 신경망이 기호 표현식의 문법적 구조를 어느 정도 학습할 수 있는가?
• RQ3 엔드 투 엔드 신경 기반 기호 회귀의 성능은 기존의 히우리스틱 또는 검색 기반 방법과 비교해 속도와 정확도 측면에서 어떻게 다른가?
• RQ4 모델은 실제 과학 데이터셋에 일반화되어 알려진 이론적 식을 복원할 수 있는가?
• RQ5 모델은 변수 길이의 출력을 처리하고 인간이 참여하는 상호작용적 공식 선택을 지원하도록 확장될 수 있는가?

주요 결과

• MACSYMA는 행동 과학 데이터셋인 SEU에서 잘 알려진 주관적 효용 방정식(SV_i = p_i * V_i^α)을 성공적으로 복원하여, 이론 기반 모델을 발견할 수 있음을 보여준다.
• 훈련 중 생성된 공식에 대해 약 80%의 구문 분석 정확도를 달성하여, 네트워크가 문법적으로 유효한 기호 표현식을 생성하도록 학습하고 있음을 시사한다.
• 추론 과정이 매우 효율적이며, 반복적 또는 검색 기반 디코딩을 피하기 위해 단일 피드포워드 전파만으로 이루어진다.
• 기존의 기호 회귀 기법보다 계산 비용이 큰 검색 절차(예: 유전적 프로그래밍 또는 몬테카를로 샘플링)를 제거함으로써 속도에서 뛰어난 성능을 발휘한다.
• 모델은 길이와 노이즈 수준이 다양한 데이터셋에 일반화되어 있으며, 훈련 분포 내의 데이터 변동성에 대해 강건함을 보였다.
• 고정된 최대 출력 길이의 한계를 특정하고 향후 작업으로서 순환 아키텍처와 빔 서치를 통한 모델 확장을 계획하고 있다.