[논문 리뷰] The dilemma of quantum neural networks

Qian Yang, Xinbiao Wang외 3명|arXiv (Cornell University)|2021. 06. 09.

Quantum Computing Algorithms and Architecture참고 문헌 60인용 수 8

한 줄 요약

이 논문은 실제 데이터셋을 대상으로 한 체계적인 수치 실험을 통해 양자 신경망(QNNs)의 일반화 능력과 학습 가능성에 대해 조사한다. 현재의 QNNs는 제한된 유효 모델 용량과 비효율적인 정규화로 인해 고전적 딥 러닝 모델에 뒤지며, 실용적 응용에서의 양자 우월성에 도전한다.

ABSTRACT

The core of quantum machine learning is to devise quantum models with good trainability and low generalization error bound than their classical counterparts to ensure better reliability and interpretability. Recent studies confirmed that quantum neural networks (QNNs) have the ability to achieve this goal on specific datasets. With this regard, it is of great importance to understand whether these advantages are still preserved on real-world tasks. Through systematic numerical experiments, we empirically observe that current QNNs fail to provide any benefit over classical learning models. Concretely, our results deliver two key messages. First, QNNs suffer from the severely limited effective model capacity, which incurs poor generalization on real-world datasets. Second, the trainability of QNNs is insensitive to regularization techniques, which sharply contrasts with the classical scenario. These empirical results force us to rethink the role of current QNNs and to design novel protocols for solving real-world problems with quantum advantages.

연구 동기 및 목표

• 현재의 양자 신경망(QNNs)이 실제 데이터셋에서 고전적 딥 러닝 모델보다 계산적 우위를 낼 수 있는지 평가하기 위해.
• QNNs의 열 劣한 성능의 근본 원인을 모델 용량과 학습 가능성에 중점을 두고 조사하기 위해.
• 클래식 정규화 기법(예: 가중치 감소)이 QNN 최적화에 얼마나 효과적인지 평가하기 위해.
• NISQ 시대 하드웨어에서 양자 노이즈가 QNN 학습 성능에 미치는 영향을 조사하기 위해.
• 공정하고 종합적인 QNN 평가를 위한 표준화된 오픈소스 벤치마크 제공하기 위해.

제안 방법

• 다양한 실제 데이터셋에서 QNNs와 고전적 딥 뉴럴 네트워크(DNNs)를 체계적으로 비교하는 수치 실험을 수행하기 위해.
• 실제 위험과 기대 위험의 차이를 측정하여 일반화 오차를 평가: $ \left| \hat{\mathcal{R}}_S(\hat{\bm{\theta}}) - \mathcal{R}(\hat{\bm{\theta}}) \right| $, 여기서 $ \hat{\mathcal{R}}_S $는 실측 위험이고 $ \mathcal{R} $은 기대 위험이다.
• 가중치 감소와 같은 표준 정규화 기법을 적용하여 QNN 최적화에 미치는 영향을 평가: $ \arg\min_{\bm{\theta}} \mathcal{L}(\bm{\theta}) = \frac{1}{n}\sum_{i=1}^{n}\ell(y^{(i)},\hat{y}^{(i)}) + \lambda\|\bm{\theta}\| $.
• 회로 실행 시 양자 노이즈 효과를 시뮬레이션하여 NISQ 조건 하에서 QNN 성능을 평가하기 위해.
• 확장 가능한 모델 등록과 표준화된 벤치마크를 가능하게 하는 팩터리 메서드 기반 소프트웨어 프레임워크를 구현하기 위해.
• 노이즈 없는 상태와 노이즈 있는 상태에서 QNNs와 고전적 MLPs 간의 학습 및 추론 런타임 비용을 비교하기 위해.

Figure 1: An overview of the classical and quantum learning models . Generalization ability: $\mathcal{H}$ is the whole hypothesis space. $\mathcal{H}_{D}$ and $\mathcal{H}_{Q}$ refer to the hypothesis space represented by QNN and DNN respectively. When the target concept is covered by $\mathcal{H}_

실험 결과

연구 질문

• RQ1 현재의 QNNs는 실제 데이터셋에서 고전적 딥 러닝 모델보다 일반화 능력이 뛰어나게 되는가?
• RQ2 합성 데이터에서 이론적으로 우월성이 있는 데도 불구하고 QNNs가 고전적 모델에 뒤지는 이유는 무엇인가?
• RQ3 클래식 정규화 기법(예: 가중치 감소)이 QNN 학습 가능성 향상에 얼마나 효과적인가?
• RQ4 NISQ 장치의 양자 노이즈가 QNN 성능에 어느 정도 영향을 미치는가?
• RQ5 통계적 학습 이론을 활용해 QNNs의 실생활 학습 과제에서의 근본적 한계를 식별할 수 있는가?

주요 결과

• QNNs는 심각하게 제한된 유효 모델 용량을 보이며, 이는 실제 데이터셋에서 일반화 능력이 열 劣하게 되어 고전적 모델에 뒤지는 이유를 설명한다.
• 가중치 감소와 같은 정규화 기법은 QNN 학습 가능성에 거의 영향을 주지 않으며, 이는 고전적 딥 러닝에서의 효과성과 뚜렷한 대비를 이룬다.
• NISQ 장치의 양자 노이즈로 인해 테스트 정확도가 약 10% 감소하여 QNN 성능이 심각하게 열 劣한다.
• NISQ 하드웨어에서 QNN 학습은 계산적으로 비용이 많이 들며, 반복당 최대 126초가 소요되며, 이는 노이즈 없는 QNN의 4초와 고전적 MLP의 0.02초에 비해 높은 수준이다.
• 적절한 배치 크기를 가진 SGD 최적화기로 QNN 최적화에 약간의 향상이 있었지만, 정규화에도 불구하고 40 에포크 이후 과적합 현상이 발생한다.
• 공정하고 확장 가능한 QNN 평가를 가능하게 하는 표준화된 데이터셋, 모델, 평가 스크립트를 포함한 오픈소스 벤치마크를 제공한다.

Figure 2: The machinery of various QNNs . The schematic of QNN, depicted in the upper left, consists of a hybrid quantum-classical loop, where the quantum computer is employed to train the learnable parameters and the classical processor is utilized to perform the optimization or post-processing to