[論文レビュー] Genetic Algorithms in Regression

Mo Li, QiQi Lu+2 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

GARegは、スプラインの最適ノット配置や部分集合変数選択を含む、回帰の離散最適化を解く遺伝的アルゴリズムを使用するRパッケージで、標準手法が高次元/離散空間で機能しない場合に特に有用です。

ABSTRACT

Many statistical problems involve optimization over a discrete parameter space having an unknown dimension. In such settings, gradient-based methods often fail due to the non-differentiability of the objective function or a non-convex or massive search space with an objective function having many local maxima/minima. This paper presents GAReg, a unified genetic algorithm package that handles discrete optimization regression problems, which works well when standard algorithms are unjustified. GAReg provides a compact chromosome representation supporting optimal knot placement for regression splines, best-subset regression variable selection, and related problems. The package allows for uniform initialization, constraint-preserving crossover and mutation, steady-state replacement, and an optional island-model parallelization. GAReg efficiently searches high-dimensional model spaces, providing near-optimal solutions in settings where exhaustive enumeration or integer or dynamic programming approaches are infeasible.

研究の動機と目的

• 未知の次元の離散モデル空間を最適化する回帰問題に対処する（例：スプラインのノット数/位置、部分集合選択）。
• ノット配置（スプライン）と最良部分集合回帰を制約付きで統一的に扱えるGAフレームワークを提供する。
• 制約を維持する演算子と任意の島モデル並列化をオプションとして、実用的なソフトウェアを提供し、高次元のモデル空間を効果的に探索する。

提案手法

• 候補モデルをノット数/位置や変数含有フラグをエンコードする染色体として表現する。
• 選択、交差、突然変異、定常状態置換などのGA演算を用いて、ペナルティ付き尤度（BICペナルティを伴うガウス尤度）を最小化する方向にモデルを進化させる。
• 固定-mおよび可変-mノット配置の両方をサポートし、ノット間の最小間隔の実現性チェックを行う。
• 探索を強化し早期収束を抑制するための島モデルGAをオプションとして採用する。
• 解集合に対してサブセットBICをデフォルトの適応度として用いる二進染色体による変数選択を提供し、ユーザー定義の目的関数を許容する。
• 既存のRエンジン（changepointGA、GA）との統合とタスク固有の目的関数を提供する。

実験結果

リサーチクエスチョン

• RQ1 ノット数など未知の次元を持つ離散モデル空間を回帰設定で遺伝的アルゴリズムはどのように効率的に最適化できるか？
• RQ2 GARegはスプリンのノットの数と位置を同時に決定し、BICペナルティの下で最良部分集合回帰を実行できるか？
• RQ3 制約保持型交叉と島モデル並列化はこれらの回帰問題において実務的な利点をもたらすか？
• RQ4 GARegは超高次元設定で総当たり探索や標準最適化手法と比較してどの程度の性能を示すか？

主な発見

• GARegは総当たり探索が不可能な設定でノット配置と部分集合選択のほぼ最適解へと近づく。
• 固定-mおよび可変-mノット配置をサポートし、ノット間の最小間隔制約を満たす実行可能なノット構成を提供する。
• 島モデルGAはスプリンノット最適化における探索を強化し早期収束の抑制に寄与する。
• 二進ギャ EncodingとsubsetBICは中〜高次元での最良部分集合回帰を効果的に実行する。
• このフレームワークは既存のGAエンジンと統合され、柔軟な目的関数と制約を提供する。