[논문 리뷰] Online calibration scheme for training restricted Boltzmann machines with quantum annealing

Takeru Goto, Masayuki Ohzeki|arXiv (Cornell University)|2023. 07. 19.

Machine Learning and ELMComputer Science인용 수 3

한 줄 요약

이 논문은 대trains된 제한 동결 막대기 모형(RBMs)을 훈련하기 위해 D-Wave 양자 앤날링기를 사용하는 온라인 校정 기법을 제안한다. 이 기법은 대비 수렴(Contrastive Divergence, CD) 알고리즘을 통해 동시에 내부 매개변수—예를 들어 역온도 및 편향별 계수—를 추정한다. 이 방법은 샘플 품질을 향상시키며, 고전적 기반 샘플링 방법인 기반 샘플링과 동등한 KL 발산 성능를 달성하며, 표준 CD 훈련보다 뛰어나다.

ABSTRACT

We propose a scheme to calibrate the internal parameters of a quantum annealer to obtain well-approximated samples for training a restricted Boltzmann machine (RBM). Empirically, samples from quantum annealers obey the Boltzmann distribution, making them suitable for RBM training. Quantum annealers utilize physical phenomena to generate a large number of samples in a short time. However, hardware imperfections make it challenging to obtain accurate samples. Existing research often estimates the inverse temperature for the compensation. Our scheme efficiently utilizes samples for RBM training also to estimate internal parameters. Furthermore, we consider additional parameters and demonstrate that they improve sample quality. We evaluate our approach by comparing the obtained samples with classical Gibbs sampling, which theoretically generates accurate samples. Our results indicate that our scheme demonstrates performance on par with Gibbs sampling. In addition, the training results with our estimation scheme outperform those of the contrastive divergence algorithm, a standard training algorithm for RBM.

연구 동기 및 목표

• 양자 앤날링기의 하드웨어 결함으로 인한 정확도 저하 문제를 해결하기 위해.
• 후처리 또는 다수의 모델 재훈련 없이도 RBM 훈련 중 실시간으로 내부 매개변수를 추정하는 온라인 校정 기법을 개발하기 위해.
• 단순한 역온도 보정을 넘어서, 편향별 계수를 포함한 다수의 매개변수를 추정하여 샘플의 정밀도를 향상시키기 위해.
• KL 발산 측면에서 제안된 방법의 성능을 고전적 샘플링(Gibbs) 및 표준 CD 훈련과 비교하기 위해.

제안 방법

• 이 방법은 D-Wave 양자 앤날링기에서 생성한 샘플을 훈련 데이터로 사용하고, 실시간으로 내부 매개변수를 추정하기 위해 대비 수렴(Contrastive Divergence, CD) 알고리즘을 적용한다.
• 효율적 역온도(β_eff) 및 추가 매개변수의 추정을, 경험적 분포와 모델 분포 간 KL 발산 최소화 문제로 공식화한다.
• 가중치, 가시 편향, 은닉 편향에 대해 각각 하나 또는 다수의 역온도 매개변수를 추정하거나, 각 편향 유형에 대해 계수를 사용하여 유연성을 높인다.
• 모든 매개변수는 동일한 CD 알고리즘 기반 업데이트 규칙을 반복적으로 적용하여 동시에 모델 훈련과 校정을 수행한다.
• 비용이 많이 드는 후처리 또는 우도 최대화를 피함으로써, 이전 방법보다 계산 오버헤드를 줄인다.
• 이 방법은 세 가지 매개변수 설정 구성—일반 β, 세 개의 β(가중치 및 각 편향 유형별로), 하나의 β에 개별 편향 계수—을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 RBMs 훈련 중에 양자 앤날링기 매개변수를 실시간으로 校정하는 것이 표준 CD 훈련 대비 샘플 품질 향상에 기여하는가?
• RQ2 예를 들어 가중치와 편향에 대해 별도의 β를 추정하는 다수의 내부 매개변수 추정이 단일 β 추정보다 성능을 향상시키는가?
• RQ3 다양한 내부 매개변수의 수렴 행동이 훈련 동역학과 최종 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 기법이 훈련 시간을 단축하면서도 고전적 기반 샘플링과 동등한 KL 발산 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 세 매개변수 구성(가중치 및 각 편향 유형별로 별도의 β)에서 최소 KL 발산 2.78을 달성하여 표준 CD 알고리즘을 초월했다.
• 한 가지 β로 모든 편향을 처리하는 구성(가중치에 대해 하나의 β, 모든 편향에 대해 계수)이 가장 우수한 성능을 보이며 KL 발산 2.78을 기록하여 샘플 분포 정확도 향상을 입증했다.
• 모든 구성에서 KL 발산 값이 3.30 이하로 유지되어 고전적 Gibbs 샘플링 성능과 동등한 성능를 확보했다.
• 다수의 내부 매개변수를 사용한 훈련은 500 에포크 이후에도 지속적인 향상을 보였지만, 단일 매개변수의 경우 β_eff가 조기에 수렴하여 정체되었다.
• 역온도 β_eff는 500 에포크 내에 수렴했지만, β_h와 같은 다른 매개변수들은 계속 변화를 보이며, 더 많은 매개변수를 사용할수록 안정화되기 위해 더 많은 샘플이 필요함을 시사했다.
• 후처리를 제거하고 동시에 훈련과 校정을 수행함으로써, 이전 방법 대비 훈련 시간을 단축시켰다.