[논문 리뷰] An improved chromosome formulation for genetic algorithms applied to variable selection with the inclusion of interaction terms

Chee Chun Gan, Gerard P. Learmonth|arXiv (Cornell University)|2016. 04. 22.

Metaheuristic Optimization Algorithms Research참고 문헌 3인용 수 4

한 줄 요약

이 논문은 상호작용 항을 포함할 경우의 변수 선택에서 확장성과 희박성 향상을 위해 유전 알고리즘에 대한 색인 기반 염색체 형식을 제안한다. 이는 이진 벡터가 아닌 색인을 통해 변수와 상호작용을 표현함으로써 계산 오버헤드를 감소시키고 고차원 데이터셋에서 성능을 향상시킨다.

ABSTRACT

Genetic algorithms are a well-known method for tackling the problem of variable selection. As they are non-parametric and can use a large variety of fitness functions, they are well-suited as a variable selection wrapper that can be applied to many different models. In almost all cases, the chromosome formulation used in these genetic algorithms consists of a binary vector of length n for n potential variables indicating the presence or absence of the corresponding variables. While the aforementioned chromosome formulation has exhibited good performance for relatively small n, there are potential problems when the size of n grows very large, especially when interaction terms are considered. We introduce a modification to the standard chromosome formulation that allows for better scalability and model sparsity when interaction terms are included in the predictor search space. Experimental results show that the indexed chromosome formulation demonstrates improved computational efficiency and sparsity on high-dimensional datasets with interaction terms compared to the standard chromosome formulation.

연구 동기 및 목표

• 고차원 데이터와 상호작용 항을 다룰 때 표준 이진 염색체 형식의 확장성 한계를 해결하기 위해.
• 상호작용 효과를 포함한 변수 선택 작업에서 계산 복잡도를 감소시키고 모델의 희박성을 향상시키기 위해.
• 주 효과와 상호작용 항을 모두 효율적으로 인코딩할 수 있는 염색체 표현을 개발하여 검색 공간의 팽창을 방지하기 위해.
• 고차원 특성 공간에서 유전 알고리즘 기반 워퍼 방법의 성능을 향상시키기 위해.

제안 방법

• 각 유전자가 이진 케이스/오프 플래그가 아닌 색인으로 변수 또는 상호작용 항을 나타내는 색인 기반 염색체 형식을 도입한다.
• 효율적인 색인 기반 표현을 사용하여 주 효과와 이원 상호작용 항을 모두 포함하는 검색 공간을 매핑한다.
• 적합도 평가를 위해 색인 기반 염색체를 활성 예측 변수 집합으로 매핑하는 복원 메커니즘을 설계한다.
• 표준 유전 알고리즘 연산자(선택, 교차, 변이)를 색인 표현에 적용하여 해를 진화시킨다.
• 모든 적합도 함수와 호환되도록 하여 선형 회귀 또는 분류 알고리즘과 같은 다양한 모델에 적용 가능하도록 한다.
• 확장성과 희박성을 평가하기 위해 상호작용 항이 포함된 고차원 데이터셋에서 형식을 검증한다.

실험 결과

연구 질문

• RQ1 고차원 데이터셋에서 상호작용 항이 포함된 경우 색인 기반 염색체 형식은 표준 이진 형식에 비해 계산 효율성에서 어떻게 비교되는가?
• RQ2 상호작용 항이 예측 변수 공간에 포함될 때 새로운 형식이 모델의 희박성에 얼마나 향상시키는가?
• RQ3 검색 공간 복잡도를 감소시키면서도 해 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 잠재적인 변수와 상호작용의 수가 증가함에 따라 이 형식은 효과적으로 확장되는가?
• RQ5 새로운 염색체 인코딩 하에서 다양한 적합도 함수에 따라 유전 알고리즘의 성능은 어떻게 변하는가?

주요 결과

• 색인 기반 염색체 형식은 상호작용 항이 포함된 고차원 데이터셋에서 표준 이진 형식에 비해 뛰어난 계산 효율성을 보였다.
• 예측 성능을 손상시키지 않으면서도 선택된 변수와 상호작용의 수를 줄여 더 나은 모델의 희박성을 달성했다.
• 잠재적인 변수와 상호작용 항의 수가 증가함에 따라 효과적으로 확장되었으며, 안정적인 수렴을 유지했다.
• 실험 결과, 데이터셋의 차원이 증가함에 따라 런타임이 감소하고 수렴 속도가 향상됨을 확인했다.
• 다양한 적합도 함수와의 호환성이 유지되어 다양한 모델링 작업에 넓은 적용 가능성을 보였다.