[논문 리뷰] Algorithmically generating new algebraic features of polynomial systems for machine learning

Dorian Florescu, Matthew England|arXiv (Cornell University)|2019. 06. 03.

Polynomial and algebraic computation참고 문헌 42인용 수 5

한 줄 요약

이 논문은 다항식 시스템에서 알고리즘적으로 대수적 특징을 생성하는 프레임워크를 제시하여, 실수 위상에서의 기호적 계산에 활용되는 다면체 대수적 분해(CAD)의 변수 순서 선택을 위한 기계학습(ML) 모델의 성능을 향상시킨다. 정의된 프레임워크 내에서 특징을 체계적으로 열거함으로써, 이 방법은 ML 성능을 크게 향상시키며, 최적의 최소값보다 단지 6% 높은 계산 시간을 기록한다. 이는 인간이 설계한 히ュ리스틱보다 효율성 면에서 4배 뛰어나며, KNN를 사용할 경우 78개의 특징으로 66.3%의 정확도를 달성하여 이전 연구의 11개 특징에 비해 뛰어난 성능을 보였다.

ABSTRACT

There are a variety of choices to be made in both computer algebra systems (CASs) and satisfiability modulo theory (SMT) solvers which can impact performance without affecting mathematical correctness. Such choices are candidates for machine learning (ML) approaches, however, there are difficulties in applying standard ML techniques, such as the efficient identification of ML features from input data which is typically a polynomial system. Our focus is selecting the variable ordering for cylindrical algebraic decomposition (CAD), an important algorithm implemented in several CASs, and now also SMT-solvers. We created a framework to describe all the previously identified ML features for the problem and then enumerated all options in this framework to automatically generation many more features. We validate the usefulness of these with an experiment which shows that an ML choice for CAD variable ordering is superior to those made by human created heuristics, and further improved with these additional features. We expect that this technique of feature generation could be useful for other choices related to CAD, or even choices for other algorithms with polynomial systems for input.

연구 동기 및 목표

• 비선형 실수 산술(NRA) 분야에서 기호적 계산에 활용되는 기계학습 응용 분야에서의 특징의 제한성과 정보 부족 문제를 해결하기 위해.
• 실수 위상에서의 기호적 계산에서 핵심 알고리즘인 다면체 대수적 분해(CAD)의 최적 변수 순서 선택을 위한 기계학습 모델의 성능을 향상시키기 위해.
• 복잡한 투영을 요구하지 않고도 다항식 시스템에서 유의미한 대수적 특징을 체계적이고 자동으로 다량 생성하는 방법을 개발하기 위해.
• 이러한 알고리즘적으로 생성된 특징이 인간이 설계한 히ュ리스틱과 이전의 특징 세트에 비해 기계학습 결정의 우수성을 입증하기 위해.

제안 방법

• 저자들은 CAD 변수 순서 선택을 위한 이전에 확인된 모든 ML 특징을 기술하는 공식적 프레임워크를 정의하여, 가능한 모든 특징 조합의 체계적 열거를 가능하게 한다.
• 기본적인 대수적 성질인 변수 빈도, 다항식 차수, 계수 분포 등을 조합함으로써 총 78개의 새로운 특징을 생성한다. 이 모든 특징은 입력 다항식에서 직접 유도된다.
• 그뢰브너 기저 계산이나 투영과 같은 계산 비용이 큰 연산을 피함으로써 저비용의 특징 생성을 보장한다.
• 생성된 특징은 기계학습 모델(DT, KNN, MLP, SVM)이 다항식 시스템의 벤치마크 데이터셋에서 최적의 변수 순서를 예측하도록 훈련하는 데 사용된다.
• 성능 평가는 테스트 세트 전체에서 최적 순서를 선택하는 정확도와 총 계산 시간을 기준으로 평가된다.

실험 결과

연구 질문

• RQ1 체계적이고 알고리즘적인 접근이 기호 계산 분야의 기계학습에 있어 훨씬 더 많은 수의 효과적인 특징을 생성할 수 있는가?
• RQ2 자동으로 생성된 이러한 특징을 사용할 경우 인간이 설계한 히ュ리스틱에 비해 기계학습 모델의 CAD 변수 순서 선택 성능이 향상되는가?
• RQ3 새로운 특징들이 CAD 변수 순서 선택 결정에서 최적 기준 대비 계산 시간을 어느 정도 감소시키는가?
• RQ4 새로운 특징 세트의 이점은 다양한 기계학습 모델 간에 일관되며, 현재 문제 외부로 일반화 가능한가?

주요 결과

• K-최근접 이웃(KNN) 모델이 총 계산 시간 9,178초를 기록하여 이론적 최소값 8,623초보다 단지 6% 높은 수준이었으며, 가장 빠른 성능을 보였다.
• 새로운 특징 세트(78개 특징)는 총 계산 시간을 최소값보다 6% 높게 유지했지만, 이전의 11개 특징 세트는 14% 높게 유지되었다.
• 모든 기계학습 모델이 인간이 만든 히ュ리스틱을 뛰어넘었다: 브라운 히ュ리스틱은 10,951초(최소값보다 27% 높음)를 소요했고, KNN는 9,178초(최소값보다 6% 높음)를 기록했다.
• 가장 우수한 기계학습 모델(KNN)은 최적 시간에 도달하는 데 인간 히ュ리스틱 중 가장 우수한 것(브라운)보다 4배나 가까이 있었다. 이는 시간 대비 최소값 비율을 기준으로 한 척도에서 4.16의 값으로 나타났다.
• 테스트 문제의 75% 이상이 기계학습 모델을 통해 최소 시간의 1% 이내로 해결되었으며, 인간 히ュ리스틱은 이 기준을 크게 초과하는 경우가 많았다.
• 새로운 특징 생성 프레임워크는 종종 직관적이지 않고 자연어로 설명하기 어려운 특징을 생성하였으며, 이는 알고리즘적 특징 설계가 인간 중심의 설계보다 우수함을 시사한다.