[논문 리뷰] Deep Learning for Symbolic Mathematics

Guillaume Lample, François Charton|arXiv (Cornell University)|2019. 12. 02.

Natural Language Processing Techniques참고 문헌 29인용 수 47

한 줄 요약

저자들은 시퀀스-투-시퀀스 모델이 기호 수학을 효과적으로 수행할 수 있음을 보여주며, 특히 기호적 적분과 ODE 해법에서 Matlab/Mathematica에 비해 경쟁력이 있거나 능가할 수 있으며, 표현식을 접두 트리로 표현하고 거대한 합성 데이터셋을 생성한다는 점.

ABSTRACT

Neural networks have a reputation for being better at solving statistical or approximate problems than at performing calculations or working with symbolic data. In this paper, we show that they can be surprisingly good at more elaborated tasks in mathematics, such as symbolic integration and solving differential equations. We propose a syntax for representing mathematical problems, and methods for generating large datasets that can be used to train sequence-to-sequence models. We achieve results that outperform commercial Computer Algebra Systems such as Matlab or Mathematica.

연구 동기 및 목표

• 신경 seq2seq 모델에 적합한 수학 문제를 표현하는 구문 제안.
• 적분 및 ODE를 포함한 기호적 작업을 위한 크고 다양한 데이터세트를 생성.
• 트랜스포머 기반 모델을 학습시켜 기호 해를 예측하고 CAS 도구와 비교 평가.
• 이러한 작업에서 신경 모델이 상용 시스템보다 우수하다는 것을 보여준다.

제안 방법

• 표현식을 트리로 표현하고 접두 순서로 인코딩하여 seq2seq 모델에 입력한다.
• 연산자/리프 수를 제어하여 무작위 표현식을 생성하고 조합 공간(Catalan/Schroeder 수)을 연구한다.
• 적분 문제를 위한 순방향, 역방향, 분할적분 데이터 생성 파이프라인을 만들고, 해석 가능한 1차 및 2차 ODE를 생성하는 방법도 포함한다.
• Adam으로 학습하는 트랜스포머 모델(헤드 8, 계층 6, 은닉 512)을 학습하고, 디코딩 시 빔 검색을 사용하여 후보 해를 생성한다.
• 참조 해와의 기호적 동등성 검사(가능하면 CAS 출력과의 비교)로 모델이 생성한 해를 평가한다.
• 시간 초과 및 다양한 빔 너비하에서 Mathematica, Maple, Matlab과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 신경 seq2seq 모델이 합성 데이터로부터 기호적 적분을 수행하고 미분방정식을 해결하는 것을 학습할 수 있는가?
• RQ2 데이터 생성 전략(FWD, BWD, IBP)이 모델 학습 및 일반화에 어떤 영향을 미치는가?
• RQ3 이러한 기호적 작업에서 신경 모델이 전통적인 컴퓨터 대수 시스템을 어느 정도까지 능가할 수 있는가?
• RQ4 빔 검색이 기호 문제 풀이의 정확도에 어떤 영향을 미치는가?
• RQ5 생성된 해가 기호적 동등성 하에서 참조 해와 동등한가?

주요 결과

작업	빔 크기 1	빔 크기 10	빔 크기 50
Integration (FWD)	93.6	95.6	96.2
Integration (BWD)	98.4	99.4	99.7
Integration (IBP)	96.8	99.2	99.5
ODE (order 1)	77.582	90.547	93.973
ODE (order 2)	43.014	73.021	81.166

• 모델은 세 가지 데이터 생성 방법에 걸쳐 탐욕적 디코딩으로 적분에서 거의 100% 정확도를 달성한다.
• 빔 크기는 ODE 해법을 크게 향상시킨다: 1차 순서에서 빔 1일 때 77.6%에서 빔 10의 90.5%, 빔 50의 93.97%로 상승; 2차 순서에서 빔 1일 때 43.0%에서 빔 10의 73.0%, 빔 50의 81.17%로 상승.
• 500개의 방출된(홀드아웃) 방정식 테스트 세트에서 30초 시간초과가 있는 Mathematica는 BWD 적분에서 84.0%를 해결하는 반면, 빔 50의 신경 모델은 구성에 따라 적분에서 99.6%, 2차 ODE에서 97.0%에 도달한다.
• 전반적으로 신경 모델은 적분에서 Mathematica를 크게 능가하고, 더 큰 빔과 함께 ODE에서도 Mathematica를 능가한다.
• 모델은 문제에 대해 다르게 서술된 여러 개의 동등한 해를 생성할 수 있어, 명시적 동등성 학습 없이도 의미 있는 기호적 동등성 인식을 보여준다.