[논문 리뷰] Logic Guided Genetic Algorithms

Dhananjay Ashok, Joseph Scott외 3명|arXiv (Cornell University)|2020. 10. 21.

Evolutionary Algorithms and Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 도메인 특화 보조 진리(ATs)를 유전적 알고리즘에 통합하여 기호 회귀(SR)를 향상시키는 로직 가이드드 유전적 알고리즘(LGGA)을 소개한다. 이 방법은 손실 계산과 데이터 증강 모두에 ATs를 활용하며, 위반된 ATs에서 반례 데이터 포인트를 반복적으로 생성함으로써 데이터 효율성과 정확도를 향상시킨다. 이로 인해 Eureqa 및 TuringBot과 같은 SR 도구들이 The Feynman Lectures on Physics의 물리 방정식을 기존 기반선 SR 대비 최대 30.0% 더 많이 해결하고, 데이터 효율성은 최대 61.9% 향상된다.

ABSTRACT

We present a novel Auxiliary Truth enhanced Genetic Algorithm (GA) that uses logical or mathematical constraints as a means of data augmentation as well as to compute loss (in conjunction with the traditional MSE), with the aim of increasing both data efficiency and accuracy of symbolic regression (SR) algorithms. Our method, logic-guided genetic algorithm (LGGA), takes as input a set of labelled data points and auxiliary truths (ATs) (mathematical facts known a priori about the unknown function the regressor aims to learn) and outputs a specially generated and curated dataset that can be used with any SR method. Three key insights underpin our method: first, SR users often know simple ATs about the function they are trying to learn. Second, whenever an SR system produces a candidate equation inconsistent with these ATs, we can compute a counterexample to prove the inconsistency, and further, this counterexample may be used to augment the dataset and fed back to the SR system in a corrective feedback loop. Third, the value addition of these ATs is that their use in both the loss function and the data augmentation process leads to better rates of convergence, accuracy, and data efficiency. We evaluate LGGA against state-of-the-art SR tools, namely, Eureqa and TuringBot on 16 physics equations from "The Feynman Lectures on Physics" book. We find that using these SR tools in conjunction with LGGA results in them solving up to 30.0% more equations, needing only a fraction of the amount of data compared to the same tool without LGGA, i.e., resulting in up to a 61.9% improvement in data efficiency.

연구 동기 및 목표

• 사전에 알려진 도메인 특화 보조 진리(ATs)를 통합하여 기호 회귀(SR)의 데이터 효율성과 정확도를 향상시키는 것.
• 위반된 ATs를 활용하여 정보성 있는 반례 데이터 포인트를 생성하고 데이터셋 정제를 위한 피드백 루프를 개발하는 것.
• ATs에서 유도된 논리적 제약 조건과 함께 평균 제곱오차(MSE) 손실을 결합하여 기존 유전적 알고리즘(GAs)을 향상시키는 것.
• 대상 함수의 수학적 성질을 활용하여 대규모 학습 데이터셋에 대한 의존도를 줄이는 것.
• 실제 물리 방정식을 대상으로 한 The Feynman Lectures on Physics에서의 성능 평가를 통해 SR 성능 향상의 실용적 성과를 입증하는 것.

제안 방법

• LGGA는 레이블이 부여된 데이터 포인트와 보조 진리(ATs)—대칭성, 영 조건, 함수 항등식과 같은 수학적 사실—을 입력으로 받는다.
• 유전적 알고리즘을 사용해 후보 기호 표현을 진화시키며, 기존 데이터 포인트에서 공식 평가를 통해 ATs와의 일관성을 검사한다.
• 후보 표현이 ATs를 위반할 경우, 위반된 AT를 사용해 기존 입력을 변형하여 반례 데이터 포인트를 생성한다.
• 이러한 새로운 데이터 포인트는 학습 세트에 추가되어 모델 수렴과 정확도 향상을 위한 피드백 루프를 형성한다.
• 기존의 MSE 손실과 ATs에서 파생된 제약 기반 손실을 결합하여 검색 과정을 수학적으로 타당하고 정확한 방정식으로 유도한다.
• 과정은 반복적이다: 후보 방정식이 어떤 ATs도 충족하지 못할 경우에만 새로운 데이터가 생성되며, 이는 표적적이고 효율적인 데이터 증강을 보장한다.

실험 결과

연구 질문

• RQ1 기호 회귀에 보조 진리(ATs)를 통합하면 데이터 효율성과 수렴 속도가 향상되는가?
• RQ2 위반된 ATs를 기반으로 한 온라인 피드백 기반 데이터 증강 전략이 정적 데이터 생성 방식보다 얼마나 효과적인가?
• RQ3 LGGA는 Eureqa 및 TuringBot과 같은 기존 SR 도구의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 AT 기반 손실과 데이터 증강을 결합하면 기호 회귀의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 LGGA는 오라클 기반 또는 SMT 솔버 기반 방법과 비교해 확장성과 실용성 측면에서 어떻게 다른가?

주요 결과

• LGGA는 The Feynman Lectures on Physics의 방정식을 기존 기반선 SR 대비 Eureqa 및 TuringBot이 최대 30.0% 더 많이 해결할 수 있도록 했다.
• 이 방법은 데이터 효율성에서 최대 61.9% 향상을 달성하여 유사하거나 더 높은 성능에 도달하기 위해 훨씬 적은 학습 데이터 포인트가 필요함을 의미한다.
• LGGA가 생성한 데이터셋은 ATs에서 수동으로 생성된 데이터보다 우수한 성능을 보였으며, 높은 유용성의 반례를 선택하는 온라인 피드백 루프의 효과를 입증했다.
• AT 기반 손실과 동적 데이터 증강의 조합은 기호 회귀 작업에서 더 빠른 수렴과 높은 정확도를 이끌어냈다.
• 단순한 유전적 알고리즘을 사용해도 효과적이므로, TuringBot이나 Eureqa와 같은 고급 SR 도구와 통합할 경우 더 큰 성과 향상이 기대된다.
• LGGA는 반례 생성을 위해 오라클이나 SMT 솔버에 접근할 필요가 없어 실용적이고 확장 가능한 실세계 응용에 적합하다.