[论文解读] Low Rank Non-Negative Matrix Factorization with D-Wave 2000Q

Daniele Ottaviani, A. Amendola|arXiv (Cornell University)|Aug 27, 2018

Neural Networks and Applications参考文献 4被引用 24

一句话总结

本论文首次成功将D-Wave 2000Q量子退火机应用于求解具有实数矩阵的一般低秩非负矩阵分解（NMF），采用结合自适应反向退火的混合量子-经典交替最小二乘法。该方法在100次试验中有75次达到全局最优解，显著优于前向退火和无控制的反向退火，且相比经典算法将所需迭代次数减少了两个数量级。

ABSTRACT

In this article we want to demonstrate the effectiveness of the new D-Wave quantum annealer, D-Wave 2000Q, in dealing with real world problems. In particular, it is shown how the quantum annealing process is able to find global optima even in the case of problems that do not directly involve binary variables. The problem addressed in this work is the following: taking a matrix V, find two matrices W and H such that the norm between V and the matrix product WH is as small as possible. The work is inspired by O'Malley's article [1], where the author proposed an algorithm to solve a problem very similar to ours, where however the matrix H was formed by only binary variables. In our case neither of the two matrices W or H is a binary matrix. In particular, the factorization foresees that the matrix W is composed of real numbers between 0 and 1 and that the sum of its rows is equal to 1. The QUBO problem associated with this type of factorization generates a potential composed of many local minima. We show that simple forward-annealing techniques are not sufficient to solve the problem. The new D-Wave 2000Q has introduced new solution refinement techniques, including reverse-annealing. Reverse-annealing allows to explore the configuration space starting from a point chosen by the user, for example a local minimum obtained with a precedent forward-annealing. In this article we propose an algorithm based on the reverse annealing technique (that we called adaptive reverse annealing) able to reach global minimum even in the case of QUBO problems where the classic forward annealing, or uncontrolled reverse annealing, can not reach satisfactory solutions.

研究动机与目标

• 将D-Wave量子退火技术从二元变量问题拓展至具有实数矩阵的一般NMF问题。
• 利用量子退火解决NMF优化中的局部极小值问题。
• 开发并验证一种混合量子-经典算法，利用D-Wave 2000Q求解W矩阵因子分解并满足约束条件。
• 证明自适应反向退火能够有效优化解并达到非二元NMF问题的全局最小值。

提出的方法

• 通过交替最小二乘法（ALS）分解问题，通过约束优化迭代求解W和H矩阵。
• 使用固定点二进制表示法，每个W矩阵元素用10个二进制变量编码，分辨率为c=0.001。
• 将NMF最小化问题映射为QUBO形式，线性与二次系数由涉及V、H和H^T的矩阵乘积推导得出。
• 首先使用前向退火生成候选解，随后通过逐步缩小局部极小值附近的搜索空间，应用自适应反向退火优化解。
• W矩阵在D-Wave 2000Q上计算，H矩阵通过经典计算更新，形成混合量子-经典算法。
• 自适应反向退火通过在前向退火获得的最佳解周围动态增加搜索区域大小，提升收敛至全局最小值的能力。

实验结果

研究问题

• RQ1 D-Wave 2000Q量子退火机能否求解具有实数矩阵的一般低秩非负矩阵分解（NMF）问题，而不仅限于二元变量问题？
• RQ2 与前向退火或无控制的反向退火相比，自适应反向退火是否能显著提升NMF问题的解质量？
• RQ3 混合量子-经典ALS算法能否以远少于经典NMF的迭代次数，实现相当或更优的因子分解精度？
• RQ4 当前D-Wave硬件（如量子比特连通性、量子比特数量）在求解结构化NMF问题时存在哪些局限性？
• RQ5 通过二进制表示法编码实数的精度如何影响NMF解的准确性？

主要发现

• 自适应反向退火在100次试验中达到全局最优解75次，而仅使用前向退火时为0次。
• 混合量子-经典方法仅需约50次迭代即可实现高质量因子分解，而经典算法至少需要10,000次迭代。
• 在某一测试案例中，使用量子增强方法的因子分解残差Frobenius范数相比经典方法至少小一个数量级。
• 该方法成功使用每元素10个二进制变量、分辨率为0.001的编码方式，对W矩阵元素在[0,1]范围内且行和为1的实数矩阵进行了编码。
• QUBO问题构建导致图结构完全连通，有效逻辑量子比特使用量约为60个，从而限制了每轮运行的变量数量。
• 结果表明，D-Wave 20000Q能够求解超越二元变量应用的非二元、实数优化问题，尤其在结合自适应反向退火时表现更优。