[논문 리뷰] Training a Large Scale Classifier with the Quantum Adiabatic Algorithm

Hartmut Neven, Vasil S. Denchev외 2명|ArXiv.org|2009. 12. 04.

Quantum Computing Algorithms and Architecture참고 문헌 13인용 수 60

한 줄 요약

이 논문은 최적화 문제를 이산적이고 L0-노름 정규화가 적용된 최소 제곱 최적화 문제로 재구성함으로써, 양자 등온 알고리즘을 통해 대규모 이진 분류기의 훈련을 제안한다. 단일 전역 최적화의 한계를 넘어서기 위해 반복적이고 조각별 최적화 접근법을 도입하여, AdaBoost와 경쟁 가능한 성능을 보이며, 양자 몽테카를로 시뮬레이션을 통한 증거를 제시한다. 이는 양자 등온 접근법이 이러한 문제를 효율적으로 해결할 수 있음을 시사한다.

ABSTRACT

In a previous publication we proposed discrete global optimization as a method to train a strong binary classifier constructed as a thresholded sum over weak classifiers. Our motivation was to cast the training of a classifier into a format amenable to solution by the quantum adiabatic algorithm. Applying adiabatic quantum computing (AQC) promises to yield solutions that are superior to those which can be achieved with classical heuristic solvers. Interestingly we found that by using heuristic solvers to obtain approximate solutions we could already gain an advantage over the standard method AdaBoost. In this communication we generalize the baseline method to large scale classifier training. By large scale we mean that either the cardinality of the dictionary of candidate weak classifiers or the number of weak learners used in the strong classifier exceed the number of variables that can be handled effectively in a single global optimization. For such situations we propose an iterative and piecewise approach in which a subset of weak classifiers is selected in each iteration via global optimization. The strong classifier is then constructed by concatenating the subsets of weak classifiers. We show in numerical studies that the generalized method again successfully competes with AdaBoost. We also provide theoretical arguments as to why the proposed optimization method, which does not only minimize the empirical loss but also adds L0-norm regularization, is superior to versions of boosting that only minimize the empirical loss. By conducting a Quantum Monte Carlo simulation we gather evidence that the quantum adiabatic algorithm is able to handle a generic training problem efficiently.

연구 동기 및 목표

• 단일 전역 최적화의 한계를 넘어서 강력한 이진 분류기의 확장 가능한 훈련 방법을 개발한다.
• 학습 목표에 L0-노름 정규화를 통합하여 컴act하고 일반화 가능한 분류기를 촉진한다.
• 전역 최적화와 L0 정규화를 통한 학습이 AdaBoost와 같은 표준 부스팅 방법보다 더 나은 일반화 성능을 낼 수 있음을 입증한다.
• 양자 등온 알고리즘을 통해 대규모 훈련 문제를 해결할 수 있는 가능성을 QMC 시뮬레이션을 통해 탐색한다.
• 최적화 프레임워크에 페널티 항을 통해 구조적 사전 지식(예: 게슈탈트 원칙)을 통합할 수 있도록 한다.

제안 방법

• 약한 분류기의 가중합의 부호로 강력한 분류기를 정의하고, L0-노름 정규화가 적용된 이차 손실 함수를 최소화한다.
• D-Wave의 양자 안내기 프로세서에 적합한 이차 이진 최적화 형식으로 최적화 문제를 재구성하며, 고차항을 처리하기 위해 보조 변수를 사용한다.
• 반복적이고 조각별 최적화 전략을 적용한다: 각 반복에서 전역 최적화를 통해 약한 분류기의 부분 집합을 선택하고, 이들을 연결하여 전체 분류기를 구성한다.
• 에너지 갭 분석 및 양자 등온 알고리즘이 훈련 문제에서 효율적으로 작동할 수 있는지 평가하기 위해 양자 몽테카를로(QMC) 시뮬레이션을 사용한다.
• 약한 분류기의 파라미터 최적화를 공동으로 수행하며, 공유 정규화 항을 가진 공동 목표 함수를 통해 공유 특징을 가진 다수의 분류기를 함께 훈련시킬 수 있도록 한다.
• 게슈탈트 원칙을 추가 정규화 항으로 도입하여 분류기 설계에 공간적 연속성 또는 대칭성과 같은 구조적 사전 지식을 통합한다.

실험 결과

연구 질문

• RQ1 전역 최적화와 L0 정규화를 통한 학습이 AdaBoost와 같은 탐욕적 부스팅 방법보다 일반화 성능과 정확도 측면에서 뛰어나게 되는가?
• RQ2 QMC 시뮬레이션의 결과에 따르면, 양자 등온 알고리즘이 대규모 이진 분류 문제를 효율적으로 해결할 수 있는가?
• RQ3 단일 전역 최적화의 한계를 넘어서 대규모 분류기의 훈련을 어떻게 확장할 수 있는가?
• RQ4 게슈탈트 원칙과 같은 구조적 사전 지식을 최적화 프레임워크에 효과적으로 통합할 수 있는가? 성능 향상에 기여하는가?
• RQ5 L0 정규화를 경험적 손실 최소화와 조합할 경우, 결과 분류기의 일반화 오차에 어떤 영향을 미치는가?

주요 결과

• 제안된 반복적이고 조각별 전역 최적화 방법은 수치 실험에서 AdaBoost와 경쟁 가능한 성능을 보이며, 벤치마크 데이터셋에서 경쟁력 있는 성능을 달성한다.
• 이론적 분석 결과, L0 정규화는 경험적 손실만 최소화하는 방법보다 VC 차원을 낮추어 일반화 오차의 경계를 향상시킨다.
• 양자 몽테카를로 시뮬레이션 결과, 양자 등온 알고리즘이 일반적인 훈련 문제를 효율적으로 해결할 수 있을 것임을 시사하지만, 대규모 인스턴스에서는 에너지 갭 크기를 정확히 결정하는 데 어려움이 있다.
• 이 방법은 공유 특징을 가진 다수의 분류기를 함께 훈련시킬 수 있어, 필요한 훈련 예제 수를 줄이고 정확도 및 추론 속도를 향상시킬 수 있다.
• 페널티 항을 통해 게슈탈트 원칙을 통합함으로써, 일관된 형태나 패턴을 탐지할 수 있는 구조적이고 인지적으로 타당한 분류기를 학습할 수 있다.
• 보조 변수를 사용한 목표 함수 재구성으로 현재 D-Wave 프로세서에 적합한 이차 표현을 구현할 수 있었지만, 이는 큐비트 수 증가를 수반한다.