[논문 리뷰] Interval Arithmetic and Interval-Aware Operators for Genetic Programming

Grant Dick|arXiv (Cornell University)|2017. 04. 17.

Evolutionary Algorithms and Applications참고 문헌 5인용 수 5

한 줄 요약

이 논문은 유전적 프로그래밍 연산자에 간격 산술을 통합하여 유효하지 않은 해가 진화 과정에서 발생하는 것을 방지하는 간격 인지 연산자를 제안한다. 이는 검색 효율성과 일반화 능력을 크게 향상시킨다. 기존의 평가 기반 접근 방식과 달리, 새로운 연산자는 교배 및 변이 과정에서 간격 유효성을 강제 적용함으로써 유효하지 않은 후손을 줄이고, 고성능 모델로의 수렴 속도를 높인다.

ABSTRACT

Symbolic regression via genetic programming is a flexible approach to machine learning that does not require up-front specification of model structure. However, traditional approaches to symbolic regression require the use of protected operators, which can lead to perverse model characteristics and poor generalisation. In this paper, we revisit interval arithmetic as one possible solution to allow genetic programming to perform regression using unprotected operators. Using standard benchmarks, we show that using interval arithmetic within model evaluation does not prevent invalid solutions from entering the population, meaning that search performance remains compromised. We extend the basic interval arithmetic concept with `safe' search operators that integrate interval information into their process, thereby greatly reducing the number of invalid solutions produced during search. The resulting algorithms are able to more effectively identify good models that generalise well to unseen data. We conclude with an analysis of the sensitivity of interval arithmetic-based operators with respect to the accuracy of the supplied input feature intervals.

연구 동기 및 목표

• 기본적인 유전적 프로그래밍(GP)이 기호 회귀에서 보호되지 않은 연산자로 인해 진화 과정에서 유효하지 않은 결과를 생성할 수 있는 한계를 해결하기 위해.
• 간격 산술이 평가 외에도 검색 과정에서 안전한 연산 적용을 이끄는 동적 메커니즘으로 사용될 수 있는지 조사하기 위해.
• 유전적 연산 전반에 걸쳐 간격 유효성을 유지하는 새로운 검색 연산자를 개발하여, 개체군 내 유효하지 않은 개체의 수를 줄이기 위해.
• 입력 간격 추정의 정확도가 간격 산술 기반 GP에 미치는 영향을 평가하기 위해, 특히 데이터로부터 유도된 간격일 경우에 초점을 맞추기 위해.
• 간격 산술을 의미론적 또는 아핀 산술 방법과 조합하여 모델 탐색 및 단순화 능력을 향상시킬 잠재력을 탐색하기 위해.

제안 방법

• 연산자 적용이 모든 입력 간격 범위에서 유효한지 판단하기 위한 정적 분석 기법으로 간격 산술을 도입한다.
• 교배 및 변이 과정에서 간격 유효성을 검사하여 후손을 생성하기 전에 유효성을 확인하고, 유효하지 않은 조합은 기각하거나 복구하는 간격 인지 교배 및 변이 연산자를 제안한다.
• 각 부분수트의 출력 범위를 계산하기 위해 간격 산술을 사용하여 나눗셈이나 로그와 같은 연산이 정의되지 않은 간격을 생성하지 않도록 보장한다.
• 표현식 트리 전반에 걸쳐 간격 전파를 적용하여 평가 이전에 유효하지 않은 연산을 탐지하고 방지함으로써 개체군의 유효성을 유지한다.
• 모델 평가 및 연산자 생성 과정에서 간격 산술을 적용하여 간격 제약 조건을 검색 과정에 직접 통합한다.
• 학습 데이터로부터 파생된 입력 특성 간격의 정확도를 변화시켜 간격 추정 품질의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 간격 산술이 평가 외에도 검색 과정에서의 유전자 연산 동안 유효하지 않은 해를 방지하는 동적 제약 조건으로 효과적으로 사용될 수 있는가?
• RQ2 기존의 보호된 연산자와 비교할 때 간격 인지 연산자는 검색 효율성과 일반화 성능에서 어떻게 다른가?
• RQ3 간격 산술 기반 GP의 성능은 입력 간격 추정의 정확도에 얼마나 민감한가?
• RQ4 입력 간격이 완벽하게 추정되지 않은 상황에서도 간격 산술 기반 연산자가 일반화 능력이 뛰어난 모델을 진화시킬 수 있는가?
• RQ5 간격 인지 연산자와 표준 또는 보호된 연산자를 사용할 경우, 진화된 모델의 구조적 차이는 무엇인가?

주요 결과

• 평가 단계에서만 간격 산술을 사용하는 것은 표준 교배 및 변이 과정에서 자주 유효하지 않은 후손이 생성되므로, 개체군 내 유효하지 않은 해의 발생을 방지하지 못한다.
• 간격 인지 연산자는 진화 과정에서 간격 유효성을 강제 적용함으로써 유효하지 않은 개체의 수를 크게 줄이며, 이로 인해 수렴 속도가 빨라진다.
• 새로운 간격 인지 연산자는 Pagie-1 및 Keijzer-10와 같은 벤치마크 문제에서 보호된 연산자와 비교해 유사한 일반화 성능을 달성한다.
• 간격 산술 기반 GP의 성능은 입력 간격 추정의 정확도에 매우 민감하며, 실제 데이터와 간격이 잘 맞지 않으면 일반화 능력이 떨어진다.
• 이론적으로는 0으로 나누는 것이나 정의되지 않은 연산의 위험이 있지만, 간격 인지 연산자는 문제를 일으키는 연산을 피하는 서브티튜션 표현을 성공적으로 진화시켰다.
• 간격 산술의 통합은 검색 공간을 변화시켜 나눗셈과 같은 연산이 사용되는 것의 가능성을 낮추며, 이는 진화된 모델의 구조적 변화를 암시한다.