[논문 리뷰] Kernel Learning by quantum annealer

Yasushi Hasegawa, Hiroki Oshiyama외 1명|arXiv (Cornell University)|2023. 04. 20.

Machine Learning and ELM인용 수 5

한 줄 요약

이 논문은 랜덤 푸리에 기능(RFF)의 스펙트럼 분포를 학습하기 위해 양자 앤날링 기반 제한 동질 볼츠만 기계(RBM)를 사용하는 새로운 커널 학습 방법을 제안한다. 이는 데이터 적응형 커널 근사화를 가능하게 하며, 가우시안 RFF와 유사한 분류 정확도를 달성하면서도 더 높은 표현력을 지닌 비가우시안, 다중모달 스펙트럼 분포를 생성한다.

ABSTRACT

The Boltzmann machine is one of the various applications using quantum annealer. We propose an application of the Boltzmann machine to the kernel matrix used in various machine-learning techniques. We focus on the fact that shift-invariant kernel functions can be expressed in terms of the expected value of a spectral distribution by the Fourier transformation. Using this transformation, random Fourier feature (RFF) samples the frequencies and approximates the kernel function. In this paper, furthermore, we propose a method to obtain a spectral distribution suitable for the data using a Boltzmann machine. As a result, we show that the prediction accuracy is comparable to that of the method using the Gaussian distribution. We also show that it is possible to create a spectral distribution that could not be feasible with the Gaussian distribution.

연구 동기 및 목표

• 양자 앤날링을 활용해 데이터에 적응하는 스펙트럼 분포를 학습하는 커널 학습 프레임워크를 개발하는 것.
• 랜덤 푸리에 기능에서 고정된 스펙트럼 분포(예: 가우시안)의 한계를 극복하는 것.
• 양자 앤날링의 깁스-볼츠만 샘플링 능력을 활용해 더 빠르고 효율적인 RBM 학습을 수행하는 것.
• 양자 앤날링이 커널 학습을 위한 고속 샘플링 장치로 활용될 수 있음을 입증하는 것.
• 양자 앤날링이 커널 방법에 복잡한 비가우시안 스펙트럼 분포를 생성하는 데 잠재력을 지닌다는 것을 탐색하는 것.

제안 방법

• 다중층 제한 동질 볼츠만 기계(RBM)를 사용해 랜덤 푸리에 기능(RFF)의 스펙트럼 분포를 모델링한다.
• RBM은 D-Wave 양자 앤날링에서 유래한 샘플을 사용해 학습되며, 이 샘플들은 자연스럽게 깁스-볼츠만 분포를 따른다.
• 스펙트럼 분포는 경험적 데이터 분포와 모델의 깁스-볼츠만 분포 사이의 쿨백-라이블러 발산을 최소화함으로써 학습된다.
• 모델은 양자 앤날링 샘플을 사용해 커널 함수의 기대값을 근사함으로써 계산 비용을 절감한다.
• 이 방법은 기존 가우시안 RFF로는 구현이 어려운 비가우시안 스펙트럼 분포(예: 이중모달 분포)의 학습이 가능하게 한다.
• 학습된 스펙트럼 분포를 사용해 커널 행렬을 업데이트함으로써 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 양자 앤날링을 커널 방법에서 데이터 적응형 스펙트럼 분포를 학습하는 RBM 학습에 효과적으로 활용할 수 있는가?
• RQ2 제안된 커널 학습 방법의 예측 정확도는 가우시안 RFF와 비교해 어떻게 되는가?
• RQ3 제안된 방법은 가우시안 분포보다 더 높은 자유도를 지닌 스펙트럼 분포를 생성할 수 있는가?
• RQ4 RBM의 은닉층 크기가 학습된 스펙트럼 분포의 표현력에 어떤 영향을 미치는가?
• RQ5 양자 앤날링의 양자적 특성은 고전적 샘플링을 넘어서 커널 학습에 어떻게 활용될 수 있는가?

주요 결과

• 제안된 커널 학습 방법은 티셔츠/바지, 티셔츠/스웨터, 바지/스웨터에 대해 각각 테스트 세트 분류 정확도 0.989, 0.957, 0.988을 달성하여 가우시안 분포 기반 기준선 RFF를 초월했다.
• 모든 데이터셋에서 커널 학습을 통해 최소화된 손실 함수가 가우시안 RFF 기준선보다 더 빨리 수렴하고 더 낮은 값을 도달했다.
• 커널 학습을 통해 학습된 ω의 스펙트럼 분포는 단일모드 가우시안 분포와는 달리 이중모드 구조를 보이며, 더 높은 표현력을 나타낸다.
• 학습 후 커널 행렬은 같은 클래스 내 쌍 간 유사도(k(xi,xj))가 더 강하고, 이질 클래스 간 유사도가 더 약해져 분류 가능성이 향상되었다.
• 양자 앤날링 샘플이 RBM 학습에서 몬테카를로 추정을 효과적으로 대체할 수 있음을 입증하여, 더 복잡한 스펙트럼 분포의 빠른 학습이 가능해졌다.
• 기존 가우시안 RFF로는 구현이 어려운 스펙트럼 분포를 성공적으로 생성함으로써, 가능한 커널 함수의 범위를 확장시켰다.