[论文解读] Kernel Learning by quantum annealer
该论文提出了一种新颖的核学习方法，利用量子退火器训练受限玻尔兹曼机（RBM）以学习随机傅里叶特征（RFF）的谱分布，实现数据自适应的核近似。该方法在分类准确率上与高斯RFF相当，同时生成更具表现力的非高斯、多模态谱分布。
The Boltzmann machine is one of the various applications using quantum annealer. We propose an application of the Boltzmann machine to the kernel matrix used in various machine-learning techniques. We focus on the fact that shift-invariant kernel functions can be expressed in terms of the expected value of a spectral distribution by the Fourier transformation. Using this transformation, random Fourier feature (RFF) samples the frequencies and approximates the kernel function. In this paper, furthermore, we propose a method to obtain a spectral distribution suitable for the data using a Boltzmann machine. As a result, we show that the prediction accuracy is comparable to that of the method using the Gaussian distribution. We also show that it is possible to create a spectral distribution that could not be feasible with the Gaussian distribution.
研究动机与目标
- 开发一种利用量子退火技术将谱分布自适应于数据的核学习框架。
- 克服随机傅里叶特征中固定谱分布（如高斯分布）的局限性。
- 利用量子退火器的吉布斯-玻尔兹曼采样能力，实现更快、更高效的RBM训练。
- 证明量子退火器可作为高速采样设备用于核学习。
- 探索量子退火器在生成核方法中复杂、非高斯谱分布方面的潜力。
提出的方法
- 使用多层受限玻尔兹曼机（RBM）对随机傅里叶特征（RFF）的谱分布进行建模。
- 利用D-Wave量子退火器生成的样本对RBM进行训练，这些样本天然服从吉布斯-玻尔兹曼分布。
- 通过最小化经验数据分布与模型吉布斯-玻尔兹曼分布之间的Kullback-Leibler散度来学习谱分布。
- 利用量子退火器样本近似核函数的期望值，从而降低计算成本。
- 该方法能够学习非高斯谱分布（如双模态分布），这是标准高斯RFF无法实现的。
- 通过使用学习到的谱分布更新核矩阵，以提升分类性能。
实验结果
研究问题
- RQ1量子退火器能否被有效用于训练RBM，以在核方法中学习数据自适应的谱分布？
- RQ2所提出的核学习方法的预测准确率与高斯RFF相比如何？
- RQ3所提出的方法能否生成比高斯分布具有更高自由度的谱分布？
- RQ4RBM中隐层大小对所学习谱分布的表达能力有何影响？
- RQ5除了经典采样之外，量子退火器的量子特性还能在核学习中如何被利用？
主要发现
- 所提出的核学习方法在T-shirt/Trouser测试集上达到0.989的分类准确率，T-shirt/Pullover为0.957，Trouser/Pullover为0.988，优于使用高斯分布的基线RFF。
- 在所有数据集上，通过核学习最小化的损失函数收敛速度更快，且收敛值更低，优于高斯RFF基线。
- 通过核学习获得的ω谱分布呈现出双模态结构，与单峰高斯分布形成对比，表明其具有更高的表达能力。
- 训练后的核矩阵显示出更强的类内相似性（同一类样本对的k(xi,xj)值更高）和更弱的类间相似性，从而提升了可分性。
- 该方法表明，量子退火器样本可有效替代RBM训练中的蒙特卡洛估计，实现对复杂谱分布的快速学习。
- 该方法成功生成了高斯RFF无法实现的谱分布，扩展了可能的核函数范围。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。