[논문 리뷰] Low Rank Non-Negative Matrix Factorization with D-Wave 2000Q

Daniele Ottaviani, A. Amendola|arXiv (Cornell University)|2018. 08. 27.

Neural Networks and Applications참고 문헌 4인용 수 24

한 줄 요약

이 논문은 실수값 행렬을 사용하는 일반적인 저질서수 비음수 행렬 분해(NMF)에 D-Wave 2000Q 양자 앤날링 기계를 처음으로 성공적으로 적용한 바 있으며, 적응형 역방향 앤날링을 통한 하이브리드 양자-고전적 교대 최소제곱 접근법을 사용하였다. 이 방법은 100회의 시험 중 75회에서 전역 최적해를 달성하였으며, 정방향 앤날링 및 통제되지 않은 역방향 앤날링보다 뛰어나고, 고전적 알고리즘 대비 반복 횟수를 두 계급 감소시켰다.

ABSTRACT

In this article we want to demonstrate the effectiveness of the new D-Wave quantum annealer, D-Wave 2000Q, in dealing with real world problems. In particular, it is shown how the quantum annealing process is able to find global optima even in the case of problems that do not directly involve binary variables. The problem addressed in this work is the following: taking a matrix V, find two matrices W and H such that the norm between V and the matrix product WH is as small as possible. The work is inspired by O'Malley's article [1], where the author proposed an algorithm to solve a problem very similar to ours, where however the matrix H was formed by only binary variables. In our case neither of the two matrices W or H is a binary matrix. In particular, the factorization foresees that the matrix W is composed of real numbers between 0 and 1 and that the sum of its rows is equal to 1. The QUBO problem associated with this type of factorization generates a potential composed of many local minima. We show that simple forward-annealing techniques are not sufficient to solve the problem. The new D-Wave 2000Q has introduced new solution refinement techniques, including reverse-annealing. Reverse-annealing allows to explore the configuration space starting from a point chosen by the user, for example a local minimum obtained with a precedent forward-annealing. In this article we propose an algorithm based on the reverse annealing technique (that we called adaptive reverse annealing) able to reach global minimum even in the case of QUBO problems where the classic forward annealing, or uncontrolled reverse annealing, can not reach satisfactory solutions.

연구 동기 및 목표

• D-Wave 양자 앤날링을 이진 변수 문제를 초월하여 실수값 행렬을 가진 일반적인 NMF에 적용하고자 한다.
• NMF 최적화에서 국소 최소값 문제를 양자 앤날링을 통해 해결하고자 한다.
• D-Wave 2000Q를 활용하여 제약 조건 하에 W 행렬 분해를 수행하는 하이브리드 양자-고전적 알고리즘을 개발하고 검증하고자 한다.
• 적응형 역방향 앤날링이 비이진 NMF 문제에서 해를 효과적으로 정밀 조정하고 전역 최소값에 도달할 수 있음을 입증하고자 한다.

제안 방법

• 문제는 교대 최소제곱(Als)을 사용하여 분해되며, 제약 조건이 있는 최적화를 통해 W 및 H 행렬을 반복적으로 해결한다.
• 행렬 W의 실수값 요소는 각 요소당 10개의 이진 변수를 사용하여 고정소수점 이진 표현 방식으로 인코딩되며, 분해 해상도 c=0.001을 사용한다.
• NMF 최소화 문제는 V, H 및 H^T를 포함한 행렬 곱 연산으로 유도된 선형 및 이차 계수를 가진 QUBO 형식으로 매핑된다.
• 초기에는 정방향 앤날링을 사용하여 후보 해를 생성한 후, 국소 최소값 주변의 탐색 영역을 점진적으로 좁혀가며 해를 정밀 조정하기 위해 적응형 역방향 앤날링을 적용한다.
• W 행렬은 D-Wave 2000Q에서 계산되며, H 행렬은 고전적 계산을 통해 업데이트되어 하이브리드 양자-고전적 알고리즘을 구성한다.
• 적응형 역방향 앤날링은 정방향 앤날링에서 확보한 최良 해 주변의 탐색 영역 크기를 동적으로 증가시켜 전역 최소값에의 수렴을 향상시킨다.

실험 결과

연구 질문

• RQ1 D-Wave 2000Q 양자 앤날링 기계는 이진 변수 문제를 초월하여 실수값 행렬을 가진 일반적인 저질서수 비음수 행렬 분해(NMF) 문제를 해결할 수 있는가?
• RQ2 적응형 역방향 앤날링은 NMF 문제에서 정방향 앤날링 또는 통제되지 않은 역방향 앤날링에 비해 해의 품질을 뚜렷이 향상시키는가?
• RQ3 하이브리드 양자-고전적 ALS 알고리즘이 고전적 NMF와 비교해 유사하거나 더 높은 분해 정확도를 달성하면서도 반복 횟수를 크게 줄일 수 있는가?
• RQ4 현행 D-Wave 하드웨어의 한계(예: 큐비트 연결성, 큐비트 수)는 구조화된 NMF 문제 해결에 어떤 영향을 미치는가?
• RQ5 이진 표현을 통한 실수의 정밀도 인코딩 정확도가 NMF 해의 정확도에 어떤 영향을 미치는가?

주요 결과

• 적응형 역방향 앤날링은 100회의 시험 중 75회에서 전역 최적해를 달성하였으며, 정방향 앤날링만을 사용한 경우는 0회였다.
• 하이브리드 양자-고전적 방법은 고전적 알고리즘의 최소 10,000회 이상의 반복 횟수에 비해 약 50회의 반복만으로도 고성능 분해를 달성하였다.
• 한 테스트 케이스에서 양자 강화 방법을 사용할 경우 고전적 방법 대비 잔차 프로베니우스 노름이 최소 한 계급 감소하였다.
• 10개의 이진 변수를 사용하여 요소가 [0,1] 범위에 있고 행의 합이 1인 실수값 W 행렬을 성공적으로 인코딩하였다. 이때 분해 해상도는 0.001이었다.
• QUBO 문제 구성 결과, 전체 연결 그래프가 생성되어 약 60개의 유효한 논리 큐비트 사용이 제한되었으며, 이는 각 실행 시 변수 수에 제약을 가했다.
• 결과적으로 D-Wave 20000Q는 이진 변수 응용을 초월하여 비이진, 실수값 최적화 문제를 해결할 수 있으며, 특히 적응형 역방향 앤날링을 통한 보완 시 효과적으로 기능함을 입증하였다.