[논문 리뷰] Quantum Perceptron Models

Nathan Wiebe, Ashish Kapoor외 1명|arXiv (Cornell University)|2016. 02. 15.

Neural Networks and Applications참고 문헌 23인용 수 37

한 줄 요약

이 논문은 퍼셉트론 학습의 계산 및 통계적 효율성을 크게 향상시키는 두 가지 양자 알고리즘을 제안한다. 첫 번째 알고리즘은 양자 확률 증폭을 사용하여 데이터 포인트 수 $N$ 에 대해 선형 이하인 $O(\sqrt{N})$ 단계 내에서 분리 초평면을 찾는다. 두 번째 알고리즘은 버전 스페이스 프레임워크 내에서 양자 확률 추정을 활용하여 고전적 실수 경계 $O(1/\gamma^2)$ 를 $O(1/\sqrt{\gamma})$ 로 개선함으로써 계산 복잡도와 일반화 오차 스케일링에서 모두 제곱근 속도 향상을 달성한다.

ABSTRACT

We demonstrate how quantum computation can provide non-trivial improvements in the computational and statistical complexity of the perceptron model. We develop two quantum algorithms for perceptron learning. The first algorithm exploits quantum information processing to determine a separating hyperplane using a number of steps sublinear in the number of data points $N$, namely $O(\sqrt{N})$. The second algorithm illustrates how the classical mistake bound of $O(\frac{1}{γ^2})$ can be further improved to $O(\frac{1}{\sqrtγ})$ through quantum means, where $γ$ denotes the margin. Such improvements are achieved through the application of quantum amplitude amplification to the version space interpretation of the perceptron model.

연구 동기 및 목표

• 고전적 퍼셉트론 훈련보다 계산 및 통계적 효율성이 뛰어난 양자 알고리즘을 개발하기.
• 양자 계산이 고전적 서브루틴을 초월해 퍼셉트론 훈련의 스케일링을 향상시킬 수 있는지 탐색하기.
• 새로운 버전 스페이스 해석을 통해 양자 속도 향상이 계산 뿐 아니라 일반화 성능에서도 가능함을 보여주기.
• 고전적 경계에 비해 데이터 포인트 의존성($O(\sqrt{N})$)과 마진 의존성($O(1/\sqrt{\gamma})$) 모두에서 제곱근 개선을 달성하기.

제안 방법

• 첫 번째 알고리즘은 고전적 $O(N)$ 에 비해 $O(\sqrt{N})$ 쿼리 내에서 오분류된 데이터 포인트를 찾기 위해 그로버 검색과 확률 증폭을 사용한다.
• 두 번째 알고리즘은 버전 스페이스에 양자 확률 추정을 적용하여, 초평면을 상태로 표현하고 데이터 제약 조건이 타당 영역을 정의한다.
• 버전 스페이스의 구조를 활용해 낮은 오차를 가진 초평면을 식별할 확률을 증폭함으로써 일반화를 향상시킨다.
• 실수가 존재할 경우 $O(1/\sqrt{N})$ 쿼리 복잡도를 달성하기 위해 지수적 탐색 히우리스틱을 사용하는 반복적 그로버 유사 증폭을 사용한다.
• 성공 확률을 $1 - \epsilon\gamma^2$ 로 증폭하기 위해 $O(\sqrt{N} \log(1/\delta))$ 쿼리를 사용하며, 여기서 $\delta = \epsilon\gamma^2$ 이다.
• 이 방법은 오분류된 벡터를 표시하는 양자 오라클 $F_w$ 와 퍼셉트론 업데이트를 위한 고전적 색인을 추출하는 제어된 유니터리 $U^c$ 를 조합한다.

실험 결과

연구 질문

• RQ1 양자 계산은 고전적 $O(N)$ 경계를 초월해 퍼셉트론을 훈련하기 위해 필요한 데이터 포인트 수를 줄일 수 있는가?
• RQ2 양자 알고리즘이 고전적 실수 경계 $O(1/\gamma^2)$ 를 퍼셉트론 학습에서 향상시킬 수 있는가?
• RQ3 퍼셉트론의 버전 스페이스 해석이 일반화 성능 향상에 새로운 양자 속도 향상을 가능하게 하는가?
• RQ4 확률 증폭이 양자 환경에서 분리 초평면을 찾는 퍼셉트론의 검색에 효과적으로 적용될 수 있는가?

주요 결과

• 첫 번째 양자 퍼셉트론 알고리즘은 분리 초평면을 찾는 데 $O(\sqrt{N})$ 쿼리 복잡도를 달성하여 고전적 $O(N)$ 에 비해 제곱근 속도 향상을 나타낸다.
• 두 번째 알고리즘은 실수 경계를 $O(1/\gamma^2)$ 에서 $O(1/\sqrt{\gamma})$ 로 개선하여 마진 의존성에서 제곱근 개선을 달성한다.
• 버전 스페이스를 위한 양자 알고리즘은 확률 추정을 사용하여 $O(\sqrt{N} \log(1/\epsilon\gamma^2))$ 쿼리 내에 최소 $1 - \epsilon\gamma^2$ 의 성공 확률을 달성한다.
• 단일 오분류된 벡터가 존재할 경우, 지수적 탐색 히우리스틱을 사용해 $O(1/\sqrt{N})$ 쿼리 후 최소 $1/4$ 의 확률로 성공한다.
• 성공 확률이 $k$ 번 반복 중에 표적 상태를 탐지하지 못할 확률은 최대 $(3/4)^k$ 이며, 원하는 신뢰도를 확보하기 위해 $k = \lceil \log_{3/4}(\delta) \rceil$ 반복이 필요하다.
• 실수가 존재하지 않을 경우 알고리즘이 올바르게 이를 식별하여 이미 분리 초평면이 발견되었음을 결론내리며, 동일한 쿼리 복잡도 경계를 유지한다.