[논문 리뷰] Subtleties in the trainability of quantum machine learning models

Supanut Thanasilp, Samson Wang외 3명|arXiv (Cornell University)|2021. 10. 27.

Quantum Computing Algorithms and Architecture참고 문헌 68인용 수 9

한 줄 요약

이 논문은 변량 양자 알고리즘(VQAs)에서의 기울기 스케일링과 빈약한 평탄대 현상이 양자 기계학습(QML) 모델로 직접 적용됨을 규명하며, 깊고 비구조적인 회로와 전역 측정과 같은 특징들이 QML의 학습 가능성에 악영향을 준다는 것을 드러낸다. 또한 고전적 데이터 임bedding에 기인하는 새로운 문제인 데이터셋 유도 빈약 평탄대(DIBPs)를 규명하였으며, 이는 임베딩 방식이 학습 가능성에 고려되지 않은 채로 설계될 경우 심각한 학습 성능 저하를 초래할 수 있음을 시사한다.

ABSTRACT

A new paradigm for data science has emerged, with quantum data, quantum models, and quantum computational devices. This field, called Quantum Machine Learning (QML), aims to achieve a speedup over traditional machine learning for data analysis. However, its success usually hinges on efficiently training the parameters in quantum neural networks, and the field of QML is still lacking theoretical scaling results for their trainability. Some trainability results have been proven for a closely related field called Variational Quantum Algorithms (VQAs). While both fields involve training a parametrized quantum circuit, there are crucial differences that make the results for one setting not readily applicable to the other. In this work we bridge the two frameworks and show that gradient scaling results for VQAs can also be applied to study the gradient scaling of QML models. Our results indicate that features deemed detrimental for VQA trainability can also lead to issues such as barren plateaus in QML. Consequently, our work has implications for several QML proposals in the literature. In addition, we provide theoretical and numerical evidence that QML models exhibit further trainability issues not present in VQAs, arising from the use of a training dataset. We refer to these as dataset-induced barren plateaus. These results are most relevant when dealing with classical data, as here the choice of embedding scheme (i.e., the map between classical data and quantum states) can greatly affect the gradient scaling.

연구 동기 및 목표

• 변량 양자 알고리즘(VQAs)의 학습 가능성 결과와 양자 기계학습(QML) 모델 간 격차를 메우기 위해.
• VQA에서 유도된 기울기 스케일링 및 빈약 평탄대 결과가 QML 환경에 적용 가능한지 조사하기 위해.
• 특히 고전적 훈련 데이터셋의 사용으로 인해 VQA에서는 나타나지 않는 QML에서의 새로운 학습 가능성 문제를 규명하기 위해.
• 잘 구성된 안사즈가더라도 악성 임베딩 방식이 QML에서 빈약 평탄대를 유도할 수 있음을 입증하기 위해.
• QML에서 학습 가능성 인지 임베딩 기반의 양자 데이터 임베딩 기법 개발을 촉구하기 위해.

제안 방법

• VQAs에서 선형 비용 함수의 기울기와 QML에서 평균 제곱오차 및 로그우도 비용 함수의 기울기 사이의 수학적 연결을 수립함.
• VQAs에서의 기울기 스케일링 결과—예를 들어 빈약 평탄대에서 기울기의 지수적 감소—가 QML 모델로도 확장됨을 증명함.
• 데이터셋의 구조와 임베딩 맵 간의 상호작용으로 인해 발생하는 QML에서의 새로운 빈약 평탄대 원천을 규명함. 이를 데이터셋 유도 빈약 평탄대(DIBPs)라 명명함.
• 이론적 분석을 통해 DIBPs가 경험적 페셔 정보 행렬의 항목이 지수적으로 작아질 경우 발생하며, 이는 최적화를 비용이 기하급수적으로 증가하는 자원 없이 불가능하게 만든다는 것을 보임.
• 수치 시뮬레이션을 통해 DIBP 현상의 타당성을 검증하였으며, 데이터셋의 구조와 임베딩 선택에 민감함을 입증함.
• MNIST 데이터셋에 대해 Havlíček 등이 제안한 임베딩을 평가하였으며, 이는 고전적으로 시뮬레이션하기 어려운 것으로 알려져 있으나, 여전히 큰 일반화 오차를 초래함을 보여줌.

실험 결과

연구 질문

• RQ1 VQAs에서의 기울기 스케일링 및 빈약 평탄대 결과가 QML 모델로 엄밀하게 확장될 수 있는가?
• RQ2 고전적 데이터셋의 사용으로 인해 VQA에서는 나타나지 않지만 QML에서 나타나는 새로운 학습 가능성 문제는 무엇인가?
• RQ3 양자 데이터 임베딩의 선택이 QML에서 기울기 스케일링과 빈약 평탄대 발생 가능성에 어떤 영향을 미치는가?
• RQ4 고전적으로 시뮬레이션하기 어려운 양자 임베딩이라도 QML에서 일반화 성능과 학습 성능이 열 劣할 수 있는가?
• RQ5 데이터셋의 구조와 임베딩 설계가 함께 작용하여 데이터셋 유도 빈약 평탄대의 존재를 얼마나 결정짓는가?

주요 결과

• VQAs에서의 기울기 스케일링 결과—빈약 평탄대에서의 기울기 지수적 감소 포함—는 QML 모델로 직접 적용되며, 깊고 비구조적인 회로와 전역 측정 등의 특징이 QML의 학습 가능성에 악영향을 준다는 것을 의미한다.
• 데이터셋의 구조와 데이터 임베딩 간의 상호작용으로 인해 발생하는 QML에서의 새로운 형태의 빈약 평탄대—데이터셋 유도 빈약 평탄대(DIBPs)—가 존재한다. 이는 안사즈가 잘 구성되어 있더라도 발생할 수 있다.
• DIBPs 상황에서 QML의 경험적 페셔 정보 행렬은 항목이 지수적으로 작아질 수 있으며, 이는 표준 최적화 방법이 기하급수적 자원 없이선 효과를 발휘할 수 없음을 의미한다.
• 임베딩 방식의 선택은 학습 가능성에 결정적인 영향을 미친다. 예를 들어, 고전적으로 시뮬레이션하기 어려운 임베딩(예: Havlíček 등)이라도 고전적 데이터 처리 과제에서 여전히 낮은 일반화 성능과 큰 테스트 오차를 초래할 수 있다.
• 수치 시뮬레이션을 통해 데이터셋의 구조와 임베딩 선택이 모두 기울기 스케일링에 상당한 영향을 미치며, 일부 조합은 근접한 영역의 기울기로 이어짐을 확인함.
• 결과적으로 성공적인 QML 임베딩는 실용성, 고전적 비가역성, 그리고 학습 가능성—특히 DIBPs를 피하는 것—을 모두 충족해야 한다는 점을 암시한다.