[논문 리뷰] Training a Binary Classifier with the Quantum Adiabatic Algorithm

Hartmut Neven, Vasil S. Denchev외 2명|ArXiv.org|2008. 11. 04.

Quantum Computing Algorithms and Architecture참고 문헌 10인용 수 71

한 줄 요약

이 논문은 이진 분류기 학습을 양자 어닐링 하드웨어에 맞게 맵핑하기 위해 가중치 최적화 문제를 이진 이차 프로그래밍 문제로 재구성함으로써 양자 애디아바틱 알고리즘을 사용하여 이진 분류기 학습을 제안한다. 이는 D-Wave의 양자 어닐링 하드웨어에 맵핑 가능한 방법을 제공한다. 결과적으로 비트 제약이 있는 학습—즉, 로그 스케일 정밀도로 가중치를 표현하는 것—이 일반화 오차를 낮추며, 특히 제곱 손실을 사용할 경우 AdaBoost를 능가함을 보여주며, NP-난해한 분류 문제에 대해 양자 우월성 잠재력이 있음을 시사한다.

ABSTRACT

This paper describes how to make the problem of binary classification amenable to quantum computing. A formulation is employed in which the binary classifier is constructed as a thresholded linear superposition of a set of weak classifiers. The weights in the superposition are optimized in a learning process that strives to minimize the training error as well as the number of weak classifiers used. No efficient solution to this problem is known. To bring it into a format that allows the application of adiabatic quantum computing (AQC), we first show that the bit-precision with which the weights need to be represented only grows logarithmically with the ratio of the number of training examples to the number of weak classifiers. This allows to effectively formulate the training process as a binary optimization problem. Solving it with heuristic solvers such as tabu search, we find that the resulting classifier outperforms a widely used state-of-the-art method, AdaBoost, on a variety of benchmark problems. Moreover, we discovered the interesting fact that bit-constrained learning machines often exhibit lower generalization error rates. Changing the loss function that measures the training error from 0-1 loss to least squares maps the training to quadratic unconstrained binary optimization. This corresponds to the format required by D-Wave's implementation of AQC. Simulations with heuristic solvers again yield results better than those obtained with boosting approaches. Since the resulting quadratic binary program is NP-hard, additional gains can be expected from applying the actual quantum processor.

연구 동기 및 목표

• 최적화 문제를 이진 프로그래밍 문제로 재구성함으로써 이진 분류 학습을 양자 어빌리티 컴퓨팅에 적응시키는 것.
• 비트 제약이 있는 가중치 표현 방식이 기계 학습 모델의 일반화 성능을 향상시키는지 조사하는 것.
• 양자 기반 휴리스틱 기법을 통한 전역 최적화 성능을 AdaBoost와 같은 탐욕적 방법과 비교하는 것.
• 이진 무제한 이진 최적화 문제(QUBO)로 맵핑함으로써 어빌리티 양자 컴퓨팅을 NP-난해한 기계 학습 문제에 적용할 수 있도록 하는 것.
• 저정밀도 가중치 표현 방식이 양자 기계 학습에서 모델의 압축성과 일반화 성능에 미치는 영향을 탐구하는 것.

제안 방법

• 분류기는 약한 분류기의 임계값을 적용한 선형 조합으로 모델링되며, 0-1 오차 또는 최소 제곱 오차와 0-노름 정규화를 조합한 정규화된 손실 함수를 최소화하도록 가중치가 최적화된다.
• 최적의 가중치에 필요한 비트 정밀도는 학습 예제 수와 약한 분류기 수의 비율에 따라 로그 스케일로 증가하므로 효과적인 이진 표현이 가능하다.
• 0-1 손실 형식은 이진 최적화 문제로 맵핑되며, 제곱 손실은 직접 QUBO로 맵핑되어 D-Wave의 양자 어닐링 하드웨어와 호환된다.
• 탭우 검색 및 시뮬레이티드 어닐링과 같은 휴리스틱 솔버를 사용하여 결과적인 이진 프로그램을 풀며, 양자 최적화 성능을 시뮬레이션한다.
• 문제는 0-1 손실을 최소 제곱 오차로 대체함으로써 QUBO로 재구성되며, D-Wave 양자 프로세서의 네이티브 입력 형식과 일치한다.
• 교차 검증을 통해 일반화 성능을 평가하기 위해 합성 데이터 및 실제 데이터(Gabor 웨이블릿 특징을 포함한 얼굴 영상)를 사용하여 프레임워크를 테스트한다.

실험 결과

연구 질문

• RQ1 이진 분류기의 희소성과 고정밀도를 확보하는 문제를 어빌리티 양자 컴퓨팅으로 해결 가능한 형태로 효과적으로 맵핑할 수 있는가?
• RQ2 가중치 비트 정밀도를 줄이면 일반화 오차가 향상되는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ3 양자 기반 휴리스틱 기법을 통한 전역 최적화와 AdaBoost와 같은 탐욕적 방법 간의 정확도 및 모델 압축성에서의 성능 비교는 어떻게 되는가?
• RQ4 0-1 손실 대비 제곱 손실을 사용할 경우 비트 제약이 있는 학습에서 성능 향상은 어느 정도 이루어지는가?
• RQ5 이 NP-난해한 분류 문제에 대해 어빌리티 양자 컴퓨팅이 기존의 고전적 휴리스틱 기법보다 실질적인 우월성을 제공할 수 있는가?

주요 결과

• 비트 제약이 있는 학습 모델—즉, 로그 스케일 비트 정밀도로 가중치를 표현하는 것—은 더 높은 정밀도의 대안들보다 일관되게 낮은 일반화 오차를 보였다.
• 제곱 손실(QUBO)을 사용한 전역 최적화 접근 방식은 AdaBoost를 능가했으며, 활성 약한 분류기의 수가 50퍼센트 이상 줄어들었음에도 불구하고 정확도가 10퍼센트 이내로 낮아지지 않았다.
• Gabor 웨이블릿 얼굴 데이터셋에서 QUBO 기반 방법은 테스트 오차를 감소시키면서도 AdaBoost 대비 비제로 가중치의 수를 50퍼센트 이상 줄였다.
• 0-1 손실 형식은 다양한 비트 깊이에서 유사한 성능를 보였지만, 제곱 손실 형식은 전역 최적화와 함께 특히 뛰어난 성능를 나타냈다.
• 이 연구는 비트 제약이 있는 모델가 내재된 정규화 기능을 수행하며, 더 나은 일반화와 모델 압축성에 기여함을 드러냈다.
• 결과적으로 이진 분류기 학습을 정수 프로그래밍 문제로 다루는 것이 연속 최적화보다 더 효과적일 수 있음을 시사하며, 이는 NP-난해 문제에 대해 양자 가속을 유도하는 데 기여한다.