[논문 리뷰] Benchmarking a quantum annealing processor with the time-to-target metric

James King, Sheir Yarkoni외 3명|arXiv (Cornell University)|2015. 08. 20.

Quantum Computing Algorithms and Architecture참고 문헌 31인용 수 82

한 줄 요약

이 논문은 고전적 솔버가 고정된 시간 창 내에서 양자 프로세서의 성능을 따라잡도록 도전하는 방식으로, 지수적 스케일링 문제와 아날로그 노이즈 의존성 문제를 피하기 위해 시간-대-타겟(TTT) 메트릭을 도입한다. D-Wave 2X 시스템은 특정 문제 유형, 특히 곤경적 루프(FL3) 인스턴스에서 단일 스레드 고전적 솔버보다 최대 600배 빠른 성능을 보이며, TTT 앤날 메트릭에서 강력한 상대적 성능을 입증한다.

ABSTRACT

In the evaluation of quantum annealers, metrics based on ground state success rates have two major drawbacks. First, evaluation requires computation time for both quantum and classical processors that grows exponentially with problem size. This makes evaluation itself computationally prohibitive. Second, results are heavily dependent on the effects of analog noise on the quantum processors, which is an engineering issue that complicates the study of the underlying quantum annealing algorithm. We introduce a novel "time-to-target" metric which avoids these two issues by challenging software solvers to match the results obtained by a quantum annealer in a short amount of time. We evaluate D-Wave's latest quantum annealer, the D-Wave 2X system, on an array of problem classes and find that it performs well on several input classes relative to state of the art software solvers running single-threaded on a CPU.

연구 동기 및 목표

• 시간-대-해답(TTS) 및 샘플-대-해답(STS)과 같은传통적 메트릭이 양자 앤날러에서 지수적 계산 시간과 아날로그 노이즈 민감성 문제를 야기하는 한계를 해결하기 위해.
• 하드웨어 노이즈에 영향을 받지 않고 지구적 최적해 계산의 비탄성 문제를 피할 수 있는 알고리즘 성능만을 분리해 평가하는 성능 벤치마킹 방법을 개발하기 위해.
• 시간 제약이 있는 재현 가능한 메트릭을 사용하여 D-Wave 2X 양자 앤날러의 성능을 최신 고전적 소프트웨어 솔버와 상대적으로 평가하기 위해.
• D-Wave 2X가 단일 스레드 고전적 솔버보다 뚜렷한 성능 우위를 보이는 문제 유형을 특정하기 위해.

제안 방법

• 고정된 시간 창 내에서 D-Wave 2X가 이르는 최고의 해를 동일한 해 품질로 도달하는 데 걸리는 시간을 측정하는 시간-대-타겟(TTT) 메트릭을 제안한다.
• 고전적 솔버가 D-Wave 2X가 고정된 시간 창(예: 100ms, 1초) 내에 도달한 최고의 해를 따라잡도록 도전하도록 한다.
• 전체 스택 성능를 평가하기 위해 TTT_anneal(프로그래밍 오버헤드 제외)과 TTT_total(프로그래밍 시간 포함)를 모두 측정한다.
• 랜덤 이징(RAN), 곤경적 루프(FL3), 기타 문제 유형을 대상으로 다수의 문제 유형을 평가하며, 각 크기와 퀀틸 기반으로 100개의 랜덤 인스턴스를 사용한다.
• 시뮬레이션 앤날링(SA), Hamze-de Freitas-Selby(HFS), 비트 병렬 솔버 등을 포함한 다양한 고전적 솔버와 비교하며, 다양한 정밀도 수준(q = 0.001에서 0.1까지)에서 평가한다.
• 통계적 탄력성을 확보하기 위해 100개의 입력에 대한 중앙값 성능와 95% 신뢰구간을 사용한다.

실험 결과

연구 질문

• RQ1 시간 제약이 있는 벤치마킹 메트릭이 TTS 및 STS와 같은 지구적 최적해 기반 메트릭에서 기인하는 지수적 스케일링 문제와 노이즈 민감성 문제를 피할 수 있는가?
• RQ2 TTT 메트릭 하에서 D-Wave 2X가 단일 스레드 고전적 솔버보다 측정 가능한 성능 우위를 보이는 문제 유형은 무엇인가?
• RQ3 정밀도(q)와 문제 크기 변화에 따라 D-Wave 2X의 상대적 성능은 다양한 입력 유형에서 어떻게 변화하는가?
• RQ4 프로그래밍 시간이 총 TTT 시간을 지배하는 정도는 어느 정도이며, 이는 양자 프로세서의 인식된 성능 우위에 어떤 영향을 미치는가?
• RQ5 최적의 파rameter 튜닝을 거친 고전적 솔버라도 TTT 프레임워크에서 D-Wave 2X의 성능을 따라잡을 수 있는가, 아니면 다중 코어 병렬 처리가 필수적인가?

주요 결과

• D-Wave 2X는 최대 문제 크기에서 TTT_anneal 메트릭에서 FL3 문제 유형에서 모든 단일 스레드 고전적 솔버보다 최대 600배 빠른 성능을 보였다.
• TTT_anneal의 경우 최적의 균형은 q = 0.1에서, TTT_total의 경우 q = 0.01에서 도달되었으며, 이는 샘플링과 솔버 수렴 간의 최적 균형을 의미한다.
• TTT_total의 경우, 특히 큰 문제 크기에서 프로그래밍 시간이 총 시간을 지배하여, 종단 간 성능에서의 양자 우위가 감소하였다.
• RANr 문제에서 시뮬레이션 앤날링 성능은 정밀도(q) 증가에 따라 악화되었으며, 이는 고정밀도 인스턴스가 고전적 솔버에게 더 어려운 문제임을 시사한다.
• Hamze-de Freitas-Selby(HFS) 솔버는 고정밀도 RANr 인스턴스에서 가장 강력한 고전적 경쟁자로, SA를 능가하였다.
• 본 연구는 TTT 메트릭에서 D-Wave 2X의 성능을 따라잡기 위해 단일 스레드 솔버를 뛰어넘는 다중 코어 또는 GPU 가속 고전적 솔버가 필요할 수 있음을 시사한다.