[논문 리뷰] Construction of non-convex polynomial loss functions for training a binary classifier with quantum annealing

Ryan Babbush, Vasil S. Denchev외 3명|arXiv (Cornell University)|2014. 06. 17.

Quantum Computing Algorithms and Architecture참고 문헌 21인용 수 7

한 줄 요약

이 논문은 양자 냉각을 사용한 이진 분류기 학습을 위한 비볼록 다항 손실 함수를 제안하며, 훈련 세트 크기와 무관한 큐비트 오버헤드를 가진 다항 무제약 이진 최적화(PUBO) 형태로 문제를 매핑한다. 이 방법은 높은 레이블 노이즈 상황에서도 강건한 학습을 가능하게 하며, 정규화된 리스크 표현식을 일정 시간 내에 컴파일할 수 있어 양자 우위를 위한 실용적인 길을 제시한다.

ABSTRACT

Quantum annealing is a heuristic quantum algorithm which exploits quantum resources to minimize an objective function embedded as the energy levels of a programmable physical system. To take advantage of a potential quantum advantage, one needs to be able to map the problem of interest to the native hardware with reasonably low overhead. Because experimental considerations constrain our objective function to take the form of a low degree PUBO (polynomial unconstrained binary optimization), we employ non-convex loss functions which are polynomial functions of the margin. We show that these loss functions are robust to label noise and provide a clear advantage over convex methods. These loss functions may also be useful for classical approaches as they compile to regularized risk expressions which can be evaluated in constant time with respect to the number of training examples.

연구 동기 및 목표

• 양자 냉각을 사용한 이진 분류기 학습의 과제를 해결하기 위해, 머신 러닝 목표를 하드웨어에 직접 호환 가능한 형태로 매핑한다.
• 기존 QUBO 임bedding 방식이 훈련 예제 수에 따라 증가하는 높은 큐비트 오버헤드 문제를 해결하여, 중규모 양자 장치에 실용적이지 못한 문제를 해결한다.
• 마진에 대해 다항식인 손실 함수를 제안하고, 이를 PUBO로 표현할 수 있도록 하여, 양자 냉각 하드웨어로의 효율적 컴파일을 가능하게 한다.
• 비볼록 다항 손실 함수가 실세계 데이터에서 중요한 레이블 노이즈에 대해 강건함을 입증하며, 동시에 양자 최적화와 호환됨을 보여준다.
• 훈련 세트 크기와 무관하게 필요한 변수 수가 유지되도록 하여, 양자 냉각을 위한 머신 러닝의 실용적 구현을 가능하게 한다.

제안 방법

• 마진 $ \gamma_i = y_i \mathbf{x}_i^T \mathbf{w} $ 를 변수로 하는 비볼록 다항 손실 함수를 정의하여, 마진 공간에서 부드럽고 미분 가능하도록 보장한다.
• 해당 실측 리스크 최소화 문제를 현재의 양자 냉각 하드웨어와 호환되는 PUBO(Polynomial Unconstrained Binary Optimization) 형태로 매핑한다.
• D-Wave 장치의 기본 이징 해밀토니안에 효율적으로 통합될 수 있도록 저차수 다항식(예: 6차)을 사용하여 손실 함수를 설계한다.
• 실수값 마진을 이진 변수로 변환하는 변수 변환 기법을 도입하여, 비볼록 최적화에 대한 양자 냉각의 적용 가능성을 확보한다.
• 필요한 이진 변수의 수가 훈련 예제 수와 무관하게 유지되도록 하여, 이전 방법의 제곱수 스케일링 문제를 해결한다.
• 훈련 세트 크기와 관계없이 일정 시간 내에 평가 가능한 정규화된 리스크 표현식으로 컴파일하여, 효율적인 고전적 사전 처리 및 하이퍼파rameter 튜닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비볼록 다항 손실 함수를 구성할 수 있는가? 이를 통해 실측 리스크가 PUBO로 표현되어 직접 양자 냉각 하드웨어에서 사용 가능하게 되는가?
• RQ2 기존의 훈련 세트 크기에 따라 증가하는 QUBO 임베딩 대비, 제안된 방법이 큐비트 오버헤드를 크게 줄일 수 있는가?
• RQ3 비볼록 다항 손실 함수는 이진 분류에서 볼록 대비 레이블 노이즈에 대해 얼마나 더 강건한가?
• RQ4 결과로 도출된 손실 함수가 훈련 예제 수와 관계없이 일정 시간 내에 평가될 수 있는가? 이를 통해 효율적인 고전적 하이퍼파rameter 튜닝이 가능한가?
• RQ5 비볼록 리스크 최소화를 위한 양자 냉각의 실용적 활용 가능성이, 금지된 자원 오버헤드 없이 확보될 수 있는가?

주요 결과

• 제안된 비볼록 다항 손실 함수는 PUBO로 표현 가능하여, 낮은 오버헤드로 직접 양자 냉각 하드웨어에 매핑할 수 있다.
• 임베딩에 필요한 변수 수가 훈련 예제 수와 무관하여, 이전 방법의 핵심 스케일링 장벽을 해결한다.
• 레이블 노이즈에 대해 강건함을 입증하였으며, 특히 레이블의 40% 이하가 손상된 경우에 효과적이다. 이는 볼록 방법보다 우수한 성능을 보였다.
• 손실 함수는 정규화된 리스크 표현식으로 컴파일되며, 이는 훈련 세트 크기와 관계없이 일정 시간 내에 평가 가능하다. 이는 효율적인 고전적 사전 처리 및 하이퍼파rameter 튜닝을 가능하게 한다.
• 교차 검증 결과, 최적의 하이퍼파rameter(예: $ \lambda $, $ \omega $, $ q $)가 노이즈 수준에 따라 크게 달라짐을 확인하여, 노이즈 데이터에 대한 방법의 적응 가능성 확인.
• Long-Servedio 및 Mease-Wyner 데이터셋에서, $ \omega \approx 0.000001 $ 에서 $ 0.000632 $ 사이의 6차 손실 함수가 고노이즈 조건에서 볼록 기반 모델을 항상 능가함을 확인.