[논문 리뷰] Combining Symbolic Expressions and Black-box Function Evaluations in Neural Programs

Forough Arabshahi, Sameer Singh외 1명|arXiv (Cornell University)|2018. 01. 12.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 수학적 식 학습에서 일반화 성능을 향상시키기 위해 트리 LSTMs를 사용하여 기호 표현과 블랙박스 함수 평가를 결합하는 새로운 신경 프로그래밍 프레임워크를 제안한다. 기호적 구조와 수치적 함수 출력을 함께 모델링함으로써, 이 모델은 방정정식 검증 및 완성 작업에서 최신 기술 수준의 성능를 달성하며, 훈련 데이터가 제한된 상황에서도 새로운 식과 숫자로의 일반화가 효과적으로 이루어진다.

ABSTRACT

Neural programming involves training neural networks to learn programs, mathematics, or logic from data. Previous works have failed to achieve good generalization performance, especially on problems and programs with high complexity or on large domains. This is because they mostly rely either on black-box function evaluations that do not capture the structure of the program, or on detailed execution traces that are expensive to obtain, and hence the training data has poor coverage of the domain under consideration. We present a novel framework that utilizes black-box function evaluations, in conjunction with symbolic expressions that define relationships between the given functions. We employ tree LSTMs to incorporate the structure of the symbolic expression trees. We use tree encoding for numbers present in function evaluation data, based on their decimal representation. We present an evaluation benchmark for this task to demonstrate our proposed model combines symbolic reasoning and function evaluation in a fruitful manner, obtaining high accuracies in our experiments. Our framework generalizes significantly better to expressions of higher depth and is able to fill partial equations with valid completions.

연구 동기 및 목표

• 단지 블랙박스 함수 평가 또는 상세한 실행 트레이스에 의존하는 기존 신경 프로그래밍 모델의 낮은 일반화 성능을 해결하기 위해.
• 함수와 변수 간의 구조적 관계를 나타내는 기호 표현과 함께 블랙박스 함수 평가를 활용하여 모델의 일반화 성능을 향상시키기 위해.
• 기호 표현 트리 간의 가중치 공유를 통해 다수의 수학적 함수를 동시에 학습할 수 있는 확장성 있고 유연한 아키텍처를 설계하기 위해.
• 훈련을 위해 기호 항등성과 함수 평가가 균형 잡히고 포괄적인 커버리지가 이루어지도록 보장하는 데이터 생성 전략을 개발하기 위해.
• 삼각함수와 초등 대수학 분야의 방정식 검증 및 완성 작업에서 프레임워크를 평가하여 뛰어난 성능과 일반화 능력을 입증하기 위해.

제안 방법

• 동일한 함수에 대해 공유 파라미터를 사용하는 트리 LSTMs를 활용해 기호 표현 트리를 인코딩함으로써, 다수의 수학적 함수를 공동으로 학습할 수 있도록 하였다.
• 수치 입력을 블랙박스 함수 평가로부터 처리하기 위해 트리 LSTMs를 확장하였으며, 숫자는 십진수 표현으로 인코딩하였다.
• 기호 항등성 검증과 함수 평가 예측을 모두 포함하는 하이브리드 훈련 목표를 사용하였다.
• 숫자의 트리 인코딩을 적용하여 추론 시에 미리 보지 못한 수치적 값으로의 일반화를 가능하게 하였다.
• 다양한 기호 항등성과 해당 함수 평가 쌍을 균형 잡힌 커버리지로 생성하는 데이터 생성 파이프라인을 설계하였다.
• 방정식 완성 작업에 대해 상위-k 정확도와 상위-k 최소 MSE를 평가 지표로 사용하였으며, 기호적 및 함수 평가 작업을 구분하였다.

실험 결과

연구 질문

• RQ1 기호 표현과 블랙박스 함수 평가를 결합하면, 단독으로 하나의 모odal을 사용하는 것보다 신경 프로그램 학습에서 더 나은 일반화 성능를 달성할 수 있는가?
• RQ2 트리 구조로 인코딩된 신경 모델이 훈련 데이터에 포함되지 않은 새로운 수학적 식과 숫자로 얼마나 잘 일반화되는가?
• RQ3 기호적 구조를 통합함으로써 순차적 또는 비트리 구조 모델에 비해 방정식 완성 및 검증 작업에서 성능 향상이 이루어지는가?
• RQ4 제안된 데이터 생성 전략이 도메인을 균형 잡히고 포괄적으로 커버하는 데 얼마나 효과적인가?
• RQ5 모델은 삼각함수와 대수학과 같은 서로 다른 수학 도메인 간에 지식을 전이할 수 있으며, 학습된 표현이 의미적으로 잘 군집되는가?

주요 결과

• 기호 표현과 함수 평가를 함께 입력으로 사용하는 제안된 트리 LSTMs 모델은, 단지 함수 평가 데이터나 기호 데이터만을 사용하는 모델에 비해 방정식 완성 작업에서 상위-1 정확도가 유의미하게 높았다.
• 특히 트리 LSTMs를 포함한 트리 구조 모델은 방정식 검증 및 완성 작업 모두에서 순차 모델보다 뛰어난 성능를 보이며, 복합적 구조를 모델링하는 것이 중요함을 입증하였다.
• 미리 보지 못한 값과 구조에 대해서도 높은 신뢰도 예측을 통해, 모델이 새로운 숫자와 기호 표현으로 효과적으로 일반화됨을 입증하였다.
• 함수 평가 작업에서는 모든 k 값에서 트리 LSTMs가 트리 신경망보다 상위-k 최소 MSE가 낮아, 더 정확하고 신뢰도 있는 예측을 함을 나타내었다.
• 기호적 방정식 완성 작업에서는 높은 신뢰도로 여러 개의 정답 후보를 생성하였고, 함수 평가 작업에서는 단일 정답 값을 정확히 식별하였다.
• 기호 표현과 함수 평가의 통합은 특히 k=1일 때 상당한 성능 향상을 이끌어내었으며, 이는 두 데이터 유형이 상호 보완적임을 시사한다.