[논문 리뷰] Restricted Boltzmann Machines for galaxy morphology classification with a quantum annealer

João F. Caldeira, Joshua Job외 3명|arXiv (Cornell University)|2019. 11. 14.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 D-Wave 2000Q 양자 앤날링 장치를 사용하여 은하 형상 분류를 위한 제한된 볼츠만 기계(RBMs)를 훈련시키는 것을 탐구한다. 양자 앤날링 기반 RBMs는 소규모 데이터셋에서는 고전적 알고리즘을 능가하지만, 더 큰 데이터셋에서는 기울기 부스팅 트리와 비교해 광범위한 성능 이점을 제공하지 못함을 보여주며, 이는 낮은 데이터 환경에서의 특수한 활용 가능성을 시사한다.

ABSTRACT

We present the application of Restricted Boltzmann Machines (RBMs) to the task of astronomical image classification using a quantum annealer built by D-Wave Systems. Morphological analysis of galaxies provides critical information for studying their formation and evolution across cosmic time scales. We compress galaxy images using principal component analysis to fit a representation on the quantum hardware. Then, we train RBMs with discriminative and generative algorithms, including contrastive divergence and hybrid generative-discriminative approaches, to classify different galaxy morphologies. The methods we compare include Quantum Annealing (QA), Markov Chain Monte Carlo (MCMC) Gibbs Sampling, and Simulated Annealing (SA) as well as machine learning algorithms like gradient boosted decision trees. We find that RBMs implemented on D-Wave hardware perform well, and that they show some classification performance advantages on small datasets, but they don't offer a broadly strategic advantage for this task. During this exploration, we analyzed the steps required for Boltzmann sampling with the D-Wave 2000Q, including a study of temperature estimation, and examined the impact of qubit noise by comparing and contrasting the original D-Wave 2000Q to the lower-noise version recently made available. While these analyses ultimately had minimal impact on the performance of the RBMs, we include them for reference.

연구 동기 및 목표

• 근접한 양자 하드웨어인 D-Wave 2000Q를 사용하여 천문학적 이미지 분류에서 RBMs를 훈련시키는 데에 양자 앤날링 하드웨어의 실현 가능성을 조사하는 것.
• MCMC, 시뮬레이션 앤날링, 기울기 부스팅 트리와 같은 고전적 방법과 비교하여 양자 앤날링 기반 RBM 훈련 방법을 평가하는 것.
• 근접한 양자 하드웨어를 사용할 때 데이터 압축과 큐비트 노이즈가 RBM 성능에 미치는 영향을 평가하는 것.
• 특히 낮은 데이터 환경에서 양자 앤날링이 은하 형상 분류에서 성능 이점이 있는지 여부를 확인하는 것.
• D-Wave 시스템에서 볼츠만 샘플링의 정밀도를 향상시키기 위한 후처리 기법의 평가

제안 방법

• D-Wave 2000Q의 제한된 큐비트 수에 맞추어 주성분 분석(PCA)을 사용해 은하 이미지를 압축하는 것.
• 대tristic 다이버전스 및 하이브리드 생성-판별 접근 방식을 포함한 분류 및 생성 훈련 알고리즘을 사용해 RBMs를 구현하는 것.
• 양자 앤날링(QA)을 통해 볼츠만 분포의 샘플링 엔진으로 D-Wave 2000Q를 사용하고, 고전적 고전적 게이브스 샘플링을 후처리 단계로 적용하는 것.
• MCMC 게이브스 샘플링과 시뮬레이션 앤날링(SA)과 같은 고전적 최적화 방법과의 비교.
• 기본 고전적 모델로 로지스틱 회귀와 기울기 부스팅 결합 결정 트리를 사용해 모델을 훈련하고 평가하는 것.
• 원래 D-Wave 2000Q와 낮은 노이즈 버전을 비교하여 온도 추정 및 큐비트 노이즈 영향 분석

실험 결과

연구 질문

• RQ1 근접한 양자 하드웨어에서 양자 앤날링이 은하 형상 분류를 위한 RBMs 훈련에 효과적으로 적용될 수 있는가?
• RQ2 특히 소규모 데이터셋에서 양자 앤날링 기반 RBM 훈련이 고전적 훈련 방법을 능가하는가?
• RQ3 후처리 기법이 D-Wave 시스템에서 볼츠만 샘플링의 정밀도와 이후 RBM 성능에 어떤 영향을 미치는가?
• RQ4 큐비트 노이즈와 온도 추정은 양자로 훈련된 RBMs의 분류 정확도에 어떤 영향을 미치는가?
• RQ5 데이터 크기, 훈련 에포크 수 등 어떤 조건에서 양자 앤날링이 고전적 기계학습 모델보다 측정 가능한 이점을 제공하는가?

주요 결과

• 소규모 데이터셋(250개 훈련 예제)에서 양자 앤날링 기반 RBMs는 로지스틱 회귀와 기울기 부스팅 트리보다 뛰어난 성능을 보이며, 후자 두 모델은 심한 과적합을 보였다.
• 소규모 데이터셋과 제한된 훈련 에포크 수에서 QA로 훈련된 RBMs는 고전적 RBMs와 고전적 기반 알고리즘을 모두 능가했으며, 이는 낮은 데이터 환경에서의 특수한 이점이 있음을 시사한다.
• 더 큰 데이터셋에서는 기울기 부스팅 트리가 모든 RBM 변종을 일관되게 능가했으며, 훈련 방법에 관계없이 동일한 결과를 보였고, 이는 이 설정에서 양자 훈련에 광범위한 전략적 이점이 없음을 의미한다.
• 볼츠만 샘플링 정밀도를 향상시키기 위한 후처리 기법은 RBM 성능에 미미한 영향을 미쳤으며, 이에 따라 저자들은 설명 가능성 확보를 위해 이러한 처리를 최소화하였다.
• 연구에서는 특히 초기 훈련 단계와 제한된 데이터에서 양자 컴퓨터가 고전적 대안을 능가하는 단계의 위상공간 영역을 발견하였다.
• 더 큰 양자 자원의 잠재력에도 불구하고 현재의 압축 요구사항으로 인해 더 큰 RBMs의 이점은 제한되었으며, 이는 향후 더 높은 큐비트 수 시스템이나 다른 압축 방법이 도입될 경우 이점이 나타날 수 있음을 시사한다.