[논문 리뷰] Using Shape Constraints for Improving Symbolic Regression Models

Christian Haider, Fabrício Olivetti de França외 2명|arXiv (Cornell University)|2021. 07. 20.

Evolutionary Algorithms and Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 유전적 프로그래밍을 사용하여 구간 산술을 통해 제약 조건을 검증함으로써 단조성, 볼록성, 비음성 등의 형상 제약 조건을 통합하는 다목적 기반 기호 회귀 방법을 제안한다. NSGA-II와 MOEA/D를 사용하고 제약 위반에 대해 소프트 페널티를 적용함으로써 모델 신뢰성과 외삽 성능이 향상되며, 특히 높은 노이즈 조건에서 유의미한 개선이 이루어지지만, 단목적 방법 대비 통계적으로 유의미한 성능 향상은 관찰되지 않았다.

ABSTRACT

We describe and analyze algorithms for shape-constrained symbolic regression, which allows the inclusion of prior knowledge about the shape of the regression function. This is relevant in many areas of engineering -- in particular whenever a data-driven model obtained from measurements must have certain properties (e.g. positivity, monotonicity or convexity/concavity). We implement shape constraints using a soft-penalty approach which uses multi-objective algorithms to minimize constraint violations and training error. We use the non-dominated sorting genetic algorithm (NSGA-II) as well as the multi-objective evolutionary algorithm based on decomposition (MOEA/D). We use a set of models from physics textbooks to test the algorithms and compare against earlier results with single-objective algorithms. The results show that all algorithms are able to find models which conform to all shape constraints. Using shape constraints helps to improve extrapolation behavior of the models.

연구 동기 및 목표

• 물리 법칙을 반영할 수 있도록 도메인 특화의 형상 제약 조건(예: 단조성, 볼록성)을 기호 회귀에 통합하여 모델 신뢰성을 향상시키는 것.
• 형상 제약 조건이 특히 노이즈가 많은 데이터 환경에서 모델 일반화 및 외삽 성능을 향상시키는지 조사하는 것.
• 기본 성능과 제약 조건 이행 간의 트레이드오프를 다루는 데 있어 다목적 진화 알고리즘(NSGA-II, MOEA/D)과 단목적 접근법을 비교 평가하는 것.
• 구간 산술을 사용한 엄밀한 검증을 통해 소프트 페널티 메커니즘이 제약 위반과 전체 모델 품질에 미치는 영향을 평가하는 것.

제안 방법

• 형상 제약 조건은 입력 영역에서 일阶 및 이阶 편미분(예: ∂f/∂xi ≥ 0)을 수학적으로 표현한다.
• 제약 조건 타당성은 도함수의 엄밀한 범위를 계산하여 구간 산술을 사용해 평가하며, 형상 성질의 보수적인(낙관적인) 검증을 보장한다.
• 소프트 페널티 접근법을 통해 제약 조건이 있는 기호 회귀 문제를 기존 오차(NMSE)와 제약 위반 페널티를 동시에 최소화하는 다목적 최적화 문제로 변환한다.
• NSGA-II와 MOEA/D와 같은 다목적 알고리즘을 사용하여 정확성과 제약 이행 간의 균형을 이루는 파레토 최적 해 집합을 진화시킨다.
• 최종 모델은 파레토 최적 해 집합에서 최고의 NMSE를 기록한 해를 선택함으로써, 타당하지 않은 해를 조기에 기각하지 않고 트레이드오프 분석이 가능하게 한다.
• 실험은 교과서에서 얻은 물리 기반 기호 회귀 문제를 대상으로 하며, 노이즈 수준을 체계적으로 변화시켜 내성적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 학습 데이터에서 다목적 기호 회귀에 형상 제약 조건을 통합하면 모델 신뢰성과 외삽 성능이 향상되는가?
• RQ2 NSGA-II와 MOEA/D는 기존 단목적 알고리즘 대비 기호 회귀에서 정확성과 제약 이행 간 균형을 어떻게 달성하는가?
• RQ3 형상 제약 조건의 포함이 외부 샘플(외삽) 성능에서 통계적으로 유의미한 향상을 이끌어내는가?
• RQ4 제약 조건 검증 방법의 선택(보수적인 구간 산술 대 비관적인 샘플링)은 확장성과 해 품질에 어떤 영향을 미치는가?

주요 결과

• NSGA-II, MOEA/D, 단목적 변종을 포함한 모든 테스트 알고리즘이 지정된 모든 형상 제약 조건을 만족하는 모델을 성공적으로 생성하였다.
• 특히 100% 노이즈 조건에서, NSGA-II는 외삽 성능에 대한 임계 차이 플롯에서 가장 높은 평균 순위를 기록했지만, 단목적 방법과 비교해 통계적으로 유의미한 차이는 관찰되지 않았다.
• 형상 제약 조건이 모든 문제 인스턴스에서 일관되게 통계적으로 유의미한 성능 향상을 가져오진 않았지만, 한 인스턴스에서는 제약 조건이 있는 경우에 외삽 성능이著しく 향상되었다.
• 구간 산술을 통한 제약 조건 검사의 계산 오버헤드는 미미했으며, 도함수 계산이 유일한 추가 비용이었고, 저차원 문제에서는 여전히 관리 가능했다.
• 다목적 접근법은 정확성과 제약 위반 간의 트레이드오프 탐색을 가능하게 하여 단일 최적 모델이 아닌 다양한 타당한 해 집합을 제공하였다.
• 다른 방법에 비해 결정론적 형상 제약 다항 회귀보다 기호 회귀 과제에서 더 뛰어난 성능을 보였지만, 후자는 격자 탐색을 통한 계산 비용이 높은 초모수 튜닝이 필요했다.