[논문 리뷰] Developing Quantum Annealer Driven Data Discovery

Joseph Dulny, Michael Kim|arXiv (Cornell University)|2016. 03. 25.

EEG and Brain-Computer Interfaces참고 문헌 4인용 수 4

한 줄 요약

이 논문은 QBoost—원래 양자 냉각을 위한 것으로 설계된 방법—을 개선하기 위해 예측 확률의 재표본화와 앙상블을 조합한 Resampled QBoost(RQBoost)를 제안한다. 이론적으로는 유망한 성능을 보이지만, 초기 상용 양자 냉각기에서의 실험 결과, NLP 및 간질 예측 작업에서 RQBoost와 QBoost가 전통적인 기계학습 기법보다 열등한 성능을 보이며, 현재 양자 냉각을 위한 기계학습에서 하드웨어 제약과 알고리즘적 제약이 뚜렷하게 드러남을 시사한다.

ABSTRACT

Machine learning applications are limited by computational power. In this paper, we gain novel insights into the application of quantum annealing (QA) to machine learning (ML) through experiments in natural language processing (NLP), seizure prediction, and linear separability testing. These experiments are performed on QA simulators and early-stage commercial QA hardware and compared to an unprecedented number of traditional ML techniques. We extend QBoost, an early implementation of a binary classifier that utilizes a quantum annealer, via resampling and ensembling of predicted probabilities to produce a more robust class estimator. To determine the strengths and weaknesses of this approach, resampled QBoost (RQBoost) is tested across several datasets and compared to QBoost and traditional ML. We show and explain how QBoost in combination with a commercial QA device are unable to perfectly separate binary class data which is linearly separable via logistic regression with shrinkage. We further explore the performance of RQBoost in the space of NLP and seizure prediction and find QA-enabled ML using QBoost and RQBoost is outperformed by traditional techniques. Additionally, we provide a detailed discussion of algorithmic constraints and trade-offs imposed by the use of this QA hardware. Through these experiments, we provide unique insights into the state of quantum ML via boosting and the use of quantum annealing hardware that are valuable to institutions interested in applying QA to problems in ML and beyond.

연구 동기 및 목표

• 양자 냉각을 기반으로 한 기계학습의 가능성과 성능을 QBoost 및 그 확장형인 RQBoost를 통해 조사한다.
• 양자 냉각 하드웨어의 제약이 실제 기계학습 응용 분야에서 부스팅 기반 분류기의 성능에 미치는 영향을 평가한다.
• 다양한 데이터셋(예: NLP 및 간질 예측 포함)에서 기반 양자 냉각기 기반 모델(QBoost, RQBoost)과 전통적 기계학습 기법을 비교한다.
• 이진 분류 문제를 해결하는 데서 양자 냉각의 효과성을 저해하는 알고리즘적 및 하드웨어적 제약을 규명한다.
• 현재의 양자 냉각 시스템에서의 상호 교환 관계를 분석하여 향후 전용 양자 기계학습 알고리즘 개발을 이끌어내는 데 기여한다.

제안 방법

• 예측 확률의 재표본화와 앙상블을 적용하여 더 견고한 클래스 추정기 생성을 위해 QBoost를 확장한다.
• 이진 분류 문제를 양자 냉각 하드웨어에 매핑하기 위해 QUBO(이차 비제약 이진 최적화) 공식을 사용한다.
• 현재 하드웨어의 큐비트 연결성 및 크기 제한을 초과하는 완전히 연결된 QUBO 문제를 처리하기 위해 탐욕적 근사 방법을 적용한다.
• 실수값 특징을 양자 냉각에 호환되는 이진 입력으로 변환하기 위해 단순 모델을 통한 임계값 설정과 같은 특징 이진화 기법을 활용한다.
• 양자 기반 예측과 고전적 모델을 조합하는 앙상블 전략을 구현하여 전체 분류 성능을 향상시킨다.
• 양자 냉각 시뮬레이터와 초기 상용 D-Wave 하드웨어(기능성 큐비트 476개)를 대상으로 통제된 실험을 수행하여 성능을 벤치마킹한다.

실험 결과

연구 질문

• RQ1 RQBoost는 양자 냉각 하드웨어에서 실행될 때 자연어 처리 및 간질 예측 작업에서 전통적 기계학습 기법을 능가할 수 있는가?
• RQ2 로지스틱 회귀에 수축 기법을 적용하면 완벽하게 선형 분리가 가능한 데이터셋에서 QBoost와 RQBoost가 왜 완벽한 선형 분리를 달성하지 못하는가?
• RQ3 제한된 큐비트 연결성, 큐비트 수, 냉각 파rameter 등 하드웨어 제약이 양자 냉각기 기반 기계학습 모델의 성능에 어떻게 영향을 미치는가?
• RQ4 현재 세대의 양자 냉각기용 기계학습 파ip라인 설계 시 주요 알고리즘적 상호 교환 관계는 무엇인가?
• RQ5 고전적 모델과 조합했을 때 양자 냉각이 앙상블 학습을 얼마나 향상시킬 수 있는가?

주요 결과

• 로지스틱 회귀에 수축 기법을 사용하면 완벽하게 선형 분리가 가능한 데이터셋에서도 RQBoost와 QBoost가 완벽한 선형 분리를 달성하지 못함으로써, 현재의 양자 냉각 하드웨어에 근본적인 제약이 있음을 시사한다.
• 재표본화와 앙상블을 통해 개선되었음에도 불구하고, 초기 상용 양자 냉각기에서 NLP 및 간질 예측 작업 모두에서 RQBoost는 전통적 기계학습 기법보다 성능이 열 劣함을 보였다.
• 기능성 큐비트 수(512개 중 476개)와 제한된 큐비트 연결성이 QUBO 문제의 크기와 복잡도를 직접 해결할 수 있도록 제한하며, 이로 인해 성능 저하를 초래하는 근사화가 필요해진다.
• 부스팅 알고리즘에서 흔히 발생하는 완전히 연결된 QUBO 문제들은 추가적인 매핑 단계가 필요하여 동시에 최적화할 수 있는 변수의 유효 수를 감소시킨다.
• 특징 수가 가용 QUBO 변수 수를 초과할 경우, RQBoost의 성능은 초기 특징 공간 분할 방식에 민감하여 고차원 설정에서의 불안정성을 보인다.
• RQBoost가 단독으로 가장 강력한 모델은 아니지만, 고전적 모델과 양자 모델을 조합한 대규모 앙상블의 구성 요소로 사용될 경우 고유한 예측 패턴을 통해 가치를 기여할 수 있다.