[논문 리뷰] Feature Selection on Quantum Computers

Sascha Mücke, Raoul Heese외 3명|arXiv (Cornell University)|2022. 03. 24.

Metaheuristic Optimization Algorithms Research인용 수 6

한 줄 요약

이 논문은 이원제한이 없는 이진 최적화(QUBO) 기반으로, 상호정보량을 사용하여 특성 중요도와 중복도를 동시에 최적화하는 새로운 양자 호환 특성 선택 알고리즘을 제안한다. 고전적 하드웨어와 양자 앤날러를 포함한 양자 하드웨어에서 경쟁 가능한 성능을 보이며, 특히 근접한 NISQ 장치에서 차원 축소 작업에 대한 실현 가능성을 입증한다.

ABSTRACT

In machine learning, fewer features reduce model complexity. Carefully assessing the influence of each input feature on the model quality is therefore a crucial preprocessing step. We propose a novel feature selection algorithm based on a quadratic unconstrained binary optimization (QUBO) problem, which allows to select a specified number of features based on their importance and redundancy. In contrast to iterative or greedy methods, our direct approach yields higherquality solutions. QUBO problems are particularly interesting because they can be solved on quantum hardware. To evaluate our proposed algorithm, we conduct a series of numerical experiments using a classical computer, a quantum gate computer and a quantum annealer. Our evaluation compares our method to a range of standard methods on various benchmark datasets. We observe competitive performance.

연구 동기 및 목표

• 선택된 특성의 수를 반복적 또는 탐욕적 제약 없이 직접 제어할 수 있는 특성 선택 방법을 개발한다.
• 특성 선택 문제를 QUBO 문제로 공식화하여 특성 부분집합의 양자 호환 최적화를 가능하게 한다.
• 실제 벤치마크 데이터셋을 사용하여 고전적 시스템, 양자 앤날러(D-Wave), 게이트 기반 양자 컴퓨터(IBM Q)에서의 성능을 평가한다.
• 근접한 양자 하드웨어가 기계 학습 분야의 특성 선택 문제를 해결하는 데 실현 가능함을 보여준다.
• 상호정보량 이외의 다양한 중요도 및 중복도 측정 방법을 지원할 수 있는 유연한 프레임워크를 제공한다.

제안 방법

• 특성 선택 문제를 QUBO 문제로 공식화: $ Q(\mathbf{x}, \alpha) = -\alpha \sum I_i x_i + (1 - \alpha) \sum R_{ij} x_i x_j $, 여기서 $ \mathbf{x} \in \{0,1\}^n $ 는 이진 특성 선택자이다.
• 중요도 측정으로 상호정보량 $ I(x_i; y) $ 를, 중복도 측정으로 $ I(x_i; x_j) $ 를 사용하며, 둘 다 음이 아닌 대칭 성질을 가진다.
• 중요도(최대화)와 중복도(최소화) 간 균형을 맞추기 위해 조정 가능한 매개변수 $ \alpha \in [0,1] $ 를 활용한다.
• 고전적 솔버, 양자 앤날러(D-Wave), IBM 양자 하드웨어에서의 변분 양자 고유값 해법(VQE)을 사용해 QUBO 문제를 해결한다.
• 벤치마크 데이터셋(예: synth_10, waveform, ionosphere)에 이 방법을 적용하고, 후속 기계 학습 모델을 통해 성능을 평가한다.
• 비교를 위해 특히 저차원 설정에서 최적 해를 도출하기 위해 브루트포스 순열을 적용한다.

실험 결과

연구 질문

• RQ1 QUBO 기반 특성 선택 방법이 반복적 또는 탐욕적 선택 전략 없이도 고품질의 해를 달성할 수 있는가?
• RQ2 제안된 QUBO 기반 특성 선택 방법의 성능는 고전적, 양자 앤날러, 게이트 모델 양자 하드웨어 간에 어떻게 비교되는가?
• RQ3 D-Wave의 양자 앤날러와 IBM의 게이트 기반 프로세서와 같은 근접한 양자 장치가 실제 세계의 특성 선택 문제를 얼마나 잘 해결할 수 있는가?
• RQ4 실제로 $ \alpha $ 의 선택이 특성 중요도와 중복도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 현재의 양자 하드웨어 한계를 감안할 때, 이 방법은 더 큰 데이터셋에 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 QUBO 기반 특성 선택 방법은 벤치마크 데이터셋에서 표준 고전적 특성 선택 기법과 비교해 경쟁 가능한 성능을 보였다.
• synth_10 데이터셋에서 D-Wave의 양자 앤날러는 100%의 런에서 전역 최적해를 성공적으로 식별했으며, 측정된 비트 빈도가 전역 최적해와 매우 유사했다.
• 동일한 데이터셋에서 시뮬레이션 앤날링이 실제 D-Wave 하드웨어보다 우수한 성능를 보였으며, 이는 노이즈와 하드웨어 제약이 실제 양자 장치의 성능을 떨어뜨린다는 것을 시사한다.
• IBM의 게이트 기반 양자 컴퓨터에서의 VQE는 측정 결과의 0.14%에서만 전역 최적해를 달성했으며, 수렴 부족과 하드웨어 노이즈에 대한 높은 민감도를 보였다.
• 하드웨어 제약에도 불구하고, 이 방법은 특히 저차원 문제에 대해 근접한 양자 장치에서 실현 가능함을 입증했다.
• 프레임워크는 매우 탄력적이며 확장 가능하며, 상호정보량 외에도 피어슨 상관계수나 엔트로피와 같은 다른 측정 방법으로 교체할 수 있으며, 핵심 알고리즘은 그대로 유지된다.