[논문 리뷰] Genetic Algorithms in Regression

Mo Li, QiQi Lu외 2명|arXiv (Cornell University)|2026. 03. 16.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

GAReg은 회귀의 이산 최적화를 해결하기 위해 유전 알고리즘을 사용하는 R 패키지로, 스플라인의 최적 knot 위치 배치와 최적 부분집합 변수 선택을 포함하며, 표준 방법이 고차원/이산 공간에서 실패하는 경우에 특히 유용합니다.

ABSTRACT

Many statistical problems involve optimization over a discrete parameter space having an unknown dimension. In such settings, gradient-based methods often fail due to the non-differentiability of the objective function or a non-convex or massive search space with an objective function having many local maxima/minima. This paper presents GAReg, a unified genetic algorithm package that handles discrete optimization regression problems, which works well when standard algorithms are unjustified. GAReg provides a compact chromosome representation supporting optimal knot placement for regression splines, best-subset regression variable selection, and related problems. The package allows for uniform initialization, constraint-preserving crossover and mutation, steady-state replacement, and an optional island-model parallelization. GAReg efficiently searches high-dimensional model spaces, providing near-optimal solutions in settings where exhaustive enumeration or integer or dynamic programming approaches are infeasible.

연구 동기 및 목표

• 차원을 알 수 없는 이산 모델 공간에서 최적화를 수행하는 회귀 문제를 다룹니다(예: 스플라인의 knot 수/위치; 부분집합 선택).
• 스플라인의 knot 배치와 제약하에 최적 부분집합 회귀를 모두 다루는 통합 GA 프레임워크를 제공합니다.
• 제약을 보존하는 연산자와 선택적 섬-모델 병렬화를 갖춘 실용적인 소프트웨어를 제공하여 고차원 모델 공간을 효과적으로 탐색합니다.

제안 방법

• 후보 모델은 knot 수/위치를 인코딩하는 염색체 또는 변수 포함 플래그를 인코딩하는 염색체로 표현합니다.
• 선택, 교차, 돌연변이, 점진적 대체 등 GA 연산자를 사용하여 페널티가 부과된 가능도(BIC 패널티가 포함된 가우시안 가능도)를 최소화하도록 모델을 진화시킵니다.
• 고정 m 및 가변 m knot 배치를 모두 지원하며 knot 간 최소 간격에 대한 실현 가능성 검사를 수행합니다.
• 탐색 강화를 위해 섬-모델 GA를 선택적으로 채택하여 조기 수렴을 줄입니다.
• 변수 선택에는 이진 염색체를 사용하고 기본 적합도으로 subsetBIC를 적용하며, 사용자 정의 목표 함수를 허용합니다.
• 기존 R 엔진(changepointGA, GA)과 작업 특화 목표 함수와의 통합을 제공합니다.

실험 결과

연구 질문

• RQ1 차원(예: knot 수)이 알려지지 않은 회귀 설정에서 이산 모델 공간을 유전 알고리즘으로 얼마나 효율적으로 최적화할 수 있을까요?
• RQ2 GAReg가 스플라인에서 knot의 수와 위치를 동시에 결정하고 BIC 패널티 하에서 최적 부분집합 회귀를 수행할 수 있을까요?
• RQ3 이러한 회귀 문제에 대해 제약 보존 교차 및 섬-모델 병렬화의 실용적 이점은 무엇인가요?
• RQ4 초고차원 환경에서 GAReg는 포괄적 탐색이나 표준 최적화 방법과 어떻게 비교되나요?

주요 결과

• GAReg은 포괄적 탐색이 실행 불가능한 설정에서 knot 배치와 부분집합 선택에 대해 거의 최적에 가까운 해를 가능하게 합니다.
• 이 패키지는 고정 m 및 가변 m knot 배치를 지원하며, 최소 간격 제약을 만족하는 실현 가능 knot 구성을 제공합니다.
• 섬-모델 GA는 스플라인 knot 최적화에서 탐색을 강화하고 조기 수렴을 줄입니다.
• subsetBIC를 이용한 이진 GA 인코딩은 중간에서 고차원까지의 차원에서 효과적으로 최적 부분집합 회귀를 수행합니다.
• 이 프레임워크는 기존 GA 엔진과의 통합을 통해 유연한 목표 함수와 제약 조건을 제공합니다.