[論文レビュー] An improved chromosome formulation for genetic algorithms applied to variable selection with the inclusion of interaction terms

Chee Chun Gan, Gerard P. Learmonth|arXiv (Cornell University)|Apr 22, 2016

Metaheuristic Optimization Algorithms Research参考文献 3被引用数 4

ひとこと要約

本論文は、交互作用項を含む場合のスケーラビリティとスパarsityを向上させるため、変数選択における遺伝的アルゴリズムのインデックス化されたクロモソーム定式化を提案する。変数と相互作用をバイナリベクトルではなくインデックスで表現することにより、計算オーバーヘッドを低減し、複雑な予測子空間を有する高次元データセットにおける性能を向上させる。

ABSTRACT

Genetic algorithms are a well-known method for tackling the problem of variable selection. As they are non-parametric and can use a large variety of fitness functions, they are well-suited as a variable selection wrapper that can be applied to many different models. In almost all cases, the chromosome formulation used in these genetic algorithms consists of a binary vector of length n for n potential variables indicating the presence or absence of the corresponding variables. While the aforementioned chromosome formulation has exhibited good performance for relatively small n, there are potential problems when the size of n grows very large, especially when interaction terms are considered. We introduce a modification to the standard chromosome formulation that allows for better scalability and model sparsity when interaction terms are included in the predictor search space. Experimental results show that the indexed chromosome formulation demonstrates improved computational efficiency and sparsity on high-dimensional datasets with interaction terms compared to the standard chromosome formulation.

研究の動機と目的

• 高次元データと相互作用項を扱う際、標準的なバイナリクロモソーム定式化のスケーラビリティの制限を解消すること。
• 相互作用効果を含む変数選択タスクにおける計算複雑性を低減し、モデルのスパarsityを向上させること。
• 探索空間の肥大化を防ぎつつ、主効果と相互作用項の両方を効率的に符号化するクロモソーム表現を構築すること。
• 高次元特徴空間における遺伝的アルゴリズムベースのラッパー法の性能を向上させること。

提案手法

• 各遺伝子がバイナリのオン/オフフラグではなく、変数または相互作用項のインデックスによって表されるインデックス化されたクロモソーム定式化を導入する。
• コンパクトなインデックスベースの表現を用いて、探索空間に主効果とペアワイズ相互作用項の両方を含める。
• 適合度評価のためのアクティブな予測子の集合にインデックス化されたクロモソームをマッピングするデコード機構を設計する。
• 標準的な遺伝的アルゴリズム演算子（選択、交差、変異）をインデックス表現に適用し、解を進化させる。
• あらゆる適合度関数と互換性を持たせ、線形回帰や分類アルゴリズムなどの多様なモデルに応用可能であることを保証する。
• スケーラビリティとスパarsityの評価を目的として、相互作用項を含む高次元データセット上で定式化を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元データセットに相互作用項が含まれる場合、インデックス化されたクロモソーム定式化は標準的なバイナリ定式化と比較して、計算効率がどの程度向上するか？
• RQ2 相互作用項が予測子空間に含まれる場合、新しい定式化はどの程度モデルのスパarsityを向上させるか？
• RQ3 探索空間の複雑さを低減しつつ、解の品質を維持または向上させることができるか？
• RQ4 潜在的な変数および相互作用項の数が増加するに従い、定式化は効果的にスケーリングできるか？
• RQ5 新しいクロモソーム符号化下で、異なる適合度関数に対して遺伝的アルゴリズムの性能はどのように変化するか？

主な発見

• インデックス化されたクロモソーム定式化は、相互作用項を含む高次元データセットにおいて、標準的なバイナリ定式化よりも優れた計算効率を示した。
• 予測性能を損なわず、選択された変数および相互作用項の数を削減する、より良いモデルのスパarsityを達成した。
• 潜在的な変数および相互作用項の数が増加するに従い、定式化は効果的にスケーリングされ、安定した収束を維持した。
• 実験結果から、特にデータセットの次元が高くなると、実行時間が短縮され、収束速度が向上した。
• 多様な適合度関数との互換性を維持したため、さまざまなモデリングタスクへの広範な適用可能性が確保された。