[논문 리뷰] Quantum-Assisted Feature Selection for Vehicle Price Prediction Modeling

David Von Dollen, Florian Neukart외 2명|arXiv (Cornell University)|2021. 04. 08.

Energy, Environment, and Transportation Policies참고 문헌 26인용 수 6

한 줄 요약

이 논문은 이진 제곱 최적화를 사용하여 차량 가격 예측을 위한 양자 보조 특성 선택 방법을 제안한다. 상관관계 지표인 피어슨 상관계수(PCC)를 양자 안일링 프레임워크에 통합함으로써 입력 차원을 감소시키고 모델 성능을 햖थ한다. 실제 데이터에서 평균 절대 오차(MAE)는 1471.02 ± 135.6을 기록했으며, 이는 순환적 특성 제거(1678.3 ± 143.7)와 같은 전통적 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Within machine learning model evaluation regimes, feature selection is a technique to reduce model complexity and improve model performance in regards to generalization, model fit, and accuracy of prediction. However, the search over the space of features to find the subset of $k$ optimal features is a known NP-Hard problem. In this work, we study metrics for encoding the combinatorial search as a binary quadratic model, such as Generalized Mean Information Coefficient and Pearson Correlation Coefficient in application to the underlying regression problem of price prediction. We investigate trade-offs in the form of run-times and model performance, of leveraging quantum-assisted vs. classical subroutines for the combinatorial search, using minimum redundancy maximal relevancy as the heuristic for our approach. We achieve accuracy scores of 0.9 (in the range of [0,1]) for finding optimal subsets on synthetic data using a new metric that we define. We test and cross-validate predictive models on a real-world problem of price prediction, and show a performance improvement of mean absolute error scores for our quantum-assisted method $(1471.02 \pm{135.6})$, vs. similar methodologies such as recursive feature elimination $(1678.3 \pm{143.7})$. Our findings show that by leveraging quantum-assisted routines we find solutions that increase the quality of predictive model output while reducing the input dimensionality to the learning algorithm on synthetic and real-world data.

연구 동기 및 목표

• 기계 학습 파ip라인에서 NP-하드 조합 최적화 문제인 특성 선택에 도전한다.
• 실행 시간과 예측 정확도 측면에서 양자 보조 루틴을 전통적 특성 선택 방법과 비교 평가한다.
• 이진 제곱 모델로 특성 선택 문제를 설정할 때 다양한 상관관계 지표(PCC, MIC, GMIC)의 효과를 조사한다.
• 차량 가격 예측을 위한 합성(Friedman 1) 및 실제 데이터(UCI Auto) 세트를 활용해 접근법을 검증한다.
• 양자 보조 특성 선택이 전통적 기준보다 더 나은 모델 성능과 낮은 오차율을 달성할 수 있음을 보여준다.

제안 방법

• 피어슨 상관계수(PCC), 최대 정보 계수(MIC), 일반화된 평균 정보 계수(GMIC)와 같은 지표를 사용하여 특성 선택 문제를 이진 제곱 모델(QUBO)로 수식화한다.
• 특성의 목표 변수에 대한 관련성과 낮은 상관관계를 균형 있게 유지하기 위해 최대 관련성 최소 상관도(MRMR) 히우리스틱을 적용한다.
• 양자 안일러(D-Wave)를 활용하여 QUBO 수식을 해결함으로써 전통적 방법보다 더 효율적으로 조합 특성 공간을 탐색할 수 있다.
• 선형 회귀 및 기울기 부스팅 회귀 트리(GBR)와 같은 다수의 학습 알고리즘을 사용하여 선택된 특성 하위집합의 예측 성능을 평가한다.
• 교차 검증 및 평균 절대 오차(MAE), 하위집합 정확도와 같은 지표를 활용하여 양자 보조 및 전통적 특성 선택 방법을 비교한다.
• 하이퍼파ram터 α와 λ를 조정하여 하위집합 크기 k를 최적화하며, 향후 Bayesian 최적화를 통한 자동 조정 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 양자 보조 최적화는 차량 가격 예측의 예측 정확도와 모델 일반화 능력 측면에서 전통적 특성 선택 방법을 능가할 수 있는가?
• RQ2 PCC, MIC, GMIC와 같은 다양한 상관관계 지표는 QUBO 수식에 특성의 관련성과 중복성을 어떻게 효과적으로 표현할 수 있는가?
• RQ3 양자 안일링과 전통적 CPU 기반 루틴 간에 실행 시간 효율성과 모델 성능 간의 상충 관계는 어떠한가?
• RQ4 양자 보조 접근법은 전통적 기준을 초월해 최적의 특성 하위집합 크기(k)를 발견할 수 있는가?
• RQ5 차원을 줄이면서도 원래 특성 공간을 유지함으로써 양자 특성 선택이 모델의 해석 가능성 향상에 기여할 수 있는가?

주요 결과

• QUBO 수식에 PCC를 사용한 양자 보조 방법은 합성 데이터(Friedman 1)에서 k = 5일 때 MAE 2.27 ± 0.12를 기록하여 가장 낮은 오차를 달성했다.
• 실제 데이터(UIC Auto)에서 QPCC-GBR 방법은 MAE 1471.02 ± 135.6을 기록했으며, 순환적 특성 제거(1678.3 ± 143.7)를 능가하는 성능을 보였다.
• 양자 보조 접근법은 합성 데이터에서 하위집합 정확도 점수 0.9를 확보하여 최적의 특성 하위집합을 정확하게 식별하는 데 높은 정밀도를 보였다.
• 양자 안일링의 실행 시간은 문제 크기와 관계없이 일정하게 유지되었으며 약 2000 μs였고, 이는 입력 크기에 따라 증가하는 전통적 방법(35,000–50,000 μs)과 대비되었다.
• PCC가 가장 우수한 성능를 보였지만, MIC 및 GMIC와 같은 다른 지표도 일부 데이터셋에서 유사한 성능를 보여, 더 넓은 적용 가능성 잠재력을 보였다.
• 이 방법은 모델 성능 향상과 함께 입력 차원을 효과적으로 감소시켜, 실제 회귀 과제에서 양자 보조 특성 선택의 잠재력을 입증했다.