[논문 리뷰] Fast Neural Models for Symbolic Regression at Scale

Allan dos Santos Costa, Rumen Dangovski외 5명|arXiv (Cornell University)|2020. 07. 16.

Evolutionary Algorithms and Applications참고 문헌 59인용 수 11

한 줄 요약

OccamNet는 교차 엔트로피 매칭을 통한 경사 기반 최적화와 확률적 함수 샘플링을 조합하여 회귀 작업을 위한 해석 가능하고 희박한 기호 표현을 발견하는 빠르고 가벼운 신경망 모델이다. 이는 단일 CPU에서 복잡한 함수를 몇 분 내에 피팅할 수 있으며 AI 가속기 없이도 GPU에서 효율적으로 확장되며 실제 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep learning owes much of its success to the astonishing expressiveness of neural networks. However, this comes at the cost of complex, black-boxed models that extrapolate poorly beyond the domain of the training dataset, conflicting with goals of finding analytic expressions to describe science, engineering and real world data. Under the hypothesis that the hierarchical modularity of such laws can be captured by training a neural network, we introduce OccamNet, a neural network model that finds interpretable, compact, and sparse solutions for fitting data, a la Occam's razor. Our model defines a probability distribution over a non-differentiable function space. We introduce a two-step optimization method that samples functions and updates the weights with backpropagation based on cross-entropy matching in an evolutionary strategy: we train by biasing the probability mass toward better fitting solutions. OccamNet is able to fit a variety of symbolic laws including simple analytic functions, recursive programs, implicit functions, simple image classification, and can outperform noticeably state-of-the-art symbolic regression methods on real world regression datasets. Our method requires minimal memory footprint, does not require AI accelerators for efficient training, fits complicated functions in minutes of training on a single CPU, and demonstrates significant performance gains when scaled on a GPU. Our implementation, demonstrations and instructions for reproducing the experiments are available at this https URL.

연구 동기 및 목표

• 작고 해석 가능한 해석적 표현을 생성하는 확장성 있고 효율적인 기호 회귀 방법을 개발하기 위해.
• 과학적 및 공학적 맥락에서 표준 딥 러닝 모델의 열악한 외삽성과 투명성 부족 문제를 해결하기 위해.
• 높은 성능를 유지하면서도 최소한의 메모리 사용량으로 CPU에서 학습이 가능하도록 하기 위해.
• 암묵적 함수, 재귀 프로그램, 이미지 분류 규칙 등을 포함한 기호 법칙을 발견하기 위해.
• 특수한 AI 가속기 없이도 GPU에서 효과적으로 확장되어 더 빠른 학습을 가능하게 하기 위해.

제안 방법

• OccamNet는 비미분 가능 함수 공간 위에 확률 분포를 정의하여 기호 표현을 탐색한다.
• 함수 샘플링과 교차 엔트로피 매칭을 통한 역전파 기반 가중치 업데이트로 이루어진 두 단계 최적화를 사용한다.
• 진화 전략 최적화를 통해 더 잘 맞는 함수로 확률 질량을 편향시킨다.
• 신경망 가중치를 사용하여 기호 표현을 미분 가능하게 표현하고 개선한다.
• 해석적, 재귀적, 암묵적 함수를 포함한 다양한 함수 유형을 지원한다.
• 기호 공간의 직접 미분 없이도 적합도 평가 기반 경사 업데이트를 사용하여 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 모델이 훈련 데이터를 초월해 잘 일반화하는 작고 해석 가능한 기호 표현을 발견할 수 있는가?
• RQ2 최소한의 메모리 사용량과 AI 가속기 없이도 CPU에서 기호 회귀를 효율적으로 수행할 수 있는가?
• RQ3 함수 공간 샘플링을 위한 확률적이고 미분 가능한 프레임워크가 기존 기호 회귀 방법보다 성능을 향상시키는가?
• RQ4 GPU에서 효과적으로 확장되면서도 낮은 메모리 사용량과 높은 학습 속도를 유지할 수 있는가?
• RQ5 실제 회귀 작업에서 암묵적 및 재귀 함수를 포함한 다양한 함수 유형을 처리할 수 있는가?

주요 결과

• OccamNet는 실제 회귀 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 기호 회귀 방법들을 능가한다.
• 모델은 단일 CPU에서 복잡한 함수를 학습하는 데 몇 분 내에 피팅할 수 있어 높은 효율성을 보인다.
• GPU 사용 시에 크게 확장되어 하드웨어 가속이 적용될 경우 뚜렷한 성능 향상을 보인다.
• 최소한의 메모리 사용량을 요구하여 자원이 제한된 환경에 적합하다.
• 암묵적 및 재귀 함수를 포함한 다양한 함수 유형에 대해 성공적으로 기호 표현을 발견한다.
• 교차 엔트로피 매칭과 진화 샘플링의 사용은 비미분 가능 함수 공간에서 효과적인 최적화를 가능하게 한다.