[论文解读] Feature Selection on Quantum Computers

Sascha Mücke, Raoul Heese+3 more|arXiv (Cornell University)|Mar 24, 2022

Metaheuristic Optimization Algorithms Research被引用 6

一句话总结

该论文提出了一种基于无约束二值二次规划（QUBO）的新型量子兼容特征选择算法，通过互信息联合优化特征重要性和冗余度。该方法在经典硬件和量子硬件（尤其是量子退火器）上表现出色，展示了其在近中期NISQ设备上解决降维任务的可行性。

ABSTRACT

In machine learning, fewer features reduce model complexity. Carefully assessing the influence of each input feature on the model quality is therefore a crucial preprocessing step. We propose a novel feature selection algorithm based on a quadratic unconstrained binary optimization (QUBO) problem, which allows to select a specified number of features based on their importance and redundancy. In contrast to iterative or greedy methods, our direct approach yields higherquality solutions. QUBO problems are particularly interesting because they can be solved on quantum hardware. To evaluate our proposed algorithm, we conduct a series of numerical experiments using a classical computer, a quantum gate computer and a quantum annealer. Our evaluation compares our method to a range of standard methods on various benchmark datasets. We observe competitive performance.

研究动机与目标

• 开发一种可直接控制所选特征数量的特征选择方法，无需迭代或贪心约束。
• 通过将特征选择表述为QUBO问题，实现特征子集的量子兼容优化。
• 利用真实基准数据集，在经典系统、量子退火器（D-Wave）和基于门的量子计算机（IBM Q）上评估该方法的性能。
• 展示近中期量子硬件在解决机器学习中特征选择问题的可行性。
• 提供一个灵活的框架，支持除互信息外的其他重要性和冗余度度量。

提出的方法

• 将特征选择表述为QUBO问题：最小化 $ Q(\mathbf{x}, \alpha) = -\alpha \sum I_i x_i + (1 - \alpha) \sum R_{ij} x_i x_j $，其中 $ \mathbf{x} \in \{0,1\}^n $ 为二值特征选择器。
• 使用互信息 $ I(x_i; y) $ 作为重要性度量，$ I(x_i; x_j) $ 作为冗余度度量，二者均为非负且对称。
• 采用可调参数 $ \alpha \in [0,1] $ 平衡目标函数中的重要性（最大化）与冗余度（最小化）。
• 使用经典求解器、量子退火（D-Wave）和基于IBM量子硬件的变分量子特征值求解器（VQE）求解QUBO。
• 将该方法应用于基准数据集（如 synth_10、waveform、ionosphere），并通过下游机器学习模型评估性能。
• 采用暴力枚举法确定最优解以供比较，尤其在低维设置下。

实验结果

研究问题

• RQ1 基于QUBO的特征选择方法是否能在无需迭代或贪心选择策略的情况下获得高质量解？
• RQ2 所提出的基于QUBO的特征选择方法在经典、量子退火器和基于门的量子硬件上的性能表现如何？
• RQ3 近中期量子设备（如D-Wave的量子退火器和IBM的基于门的处理器）在多大程度上能够解决现实世界的特征选择问题？
• RQ4 在实践中，$ \alpha $ 的选择如何影响特征重要性与冗余度之间的权衡？
• RQ5 在当前量子硬件限制下，该方法能否有效扩展到更大规模数据集？

主要发现

• 所提出的基于QUBO的特征选择方法在基准数据集上的表现与标准经典特征选择技术相比具有竞争力。
• 在synth_10数据集上，D-Wave的量子退火器在100%的运行中成功识别出全局最优解，测得的比特频率与全局最优解高度一致。
• 在相同数据集上，模拟退火法的表现优于实际的D-Wave硬件，表明噪声和硬件限制会降低真实量子设备的性能。
• 在IBM的基于门的量子计算机上运行的VQE仅在0.14%的测量中达到全局最优解，表明其收敛性不足且对硬件噪声高度敏感。
• 尽管存在硬件限制，该方法在近中期量子设备上仍表现出可行性，尤其适用于低维问题。
• 该框架具有灵活性和可扩展性，可将互信息替换为其他度量（如皮尔逊相关系数或熵），而无需修改核心算法。