[논문 리뷰] Quantum-Inspired Algorithms for Solving Low-Rank Linear Equation Systems with Logarithmic Dependence on the Dimension

Nai-Hui Chia, Gilyén, András외 4명|arXiv (Cornell University)|2018. 11. 12.

Quantum Computing Algorithms and Architecture참고 문헌 13인용 수 40

한 줄 요약

이 논문은 저랭크 선형 시스템을 해결하기 위해 HHL 양자 알고리즘에 영감을 받은 고전적 하위선형 시간 알고리즘을 제시한다. 매트릭스 및 벡터 원소에 대한 샘플링 액세스를 활용함으로써, 쿼리 및 시간 복잡도를 O(poly(k, κ, ∥A∥F, 1/ϵ) polylog(m, n))로 달성하여, 전체 매트릭스 재구성은 불가능하더라도 A⁻¹b에서의 샘플링과 원소 추정을 ϵ 정밀도로 효율적으로 수행할 수 있다.

ABSTRACT

We present classical sublinear-time algorithms for solving low-rank linear systems of equations. Our algorithms are inspired by the HHL quantum algorithm for solving linear systems and the recent breakthrough by Tang of dequantizing the quantum algorithm for recommendation systems. Let $A \in \mathbb{C}^{m imes n}$ be a rank-$k$ matrix, and $b \in \mathbb{C}^m$ be a vector. We present two algorithms: a "sampling" algorithm that provides a sample from $A^{-1}b$ and a "query" algorithm that outputs an estimate of an entry of $A^{-1}b$, where $A^{-1}$ denotes the Moore-Penrose pseudo-inverse. Both of our algorithms have query and time complexity $O(\mathrm{poly}(k, κ, \|A\|_F, 1/ε)\,\mathrm{polylog}(m, n))$, where $κ$ is the condition number of $A$ and $ε$ is the precision parameter. Note that the algorithms we consider are sublinear time, so they cannot write and read the whole matrix or vectors. In this paper, we assume that $A$ and $b$ come with well-known low-overhead data structures such that entries of $A$ and $b$ can be sampled according to some natural probability distributions. Alternatively, when $A$ is positive semidefinite, our algorithms can be adapted so that the sampling assumption on $b$ is not required.

연구 동기 및 목표

• 전체 매트릭스 액세스 없이 하위선형 시간 내에 저랭크 선형 시스템 A x = b 를 해결하는 고전적 알고리즘을 개발하기.
• 해결 벡터 x = A⁻¹b 에서의 효율적 샘플링과 x(i) 의 높은 정밀도로 원소 추정을 달성하기.
• A 와 b 를 위한 샘플링 오라클에 의존함으로써 전체 데이터 액세스 필요성을 제거하고, 대규모 문제에 대한 확장성 확보하기.
• 실제 샘플링 가정 하에 고전적 알고리즘이 양자 알고리즘과 동일한 로그 시간 복잡도를 달성할 수 있음을 보여주기.
• 저랭크 근사 및 양자 유도 샘플링 기법을 기반으로, 탈양자화 프레임워크를 일반 선형 시스템으로 확장하기.

제안 방법

• 샘플링 오라클 활용: A 의 행 인덱스를 행 노름 비례로, 행 내 원소를 절대값 비례로, b 의 원소를 크기 비례로 샘플링할 수 있는 능력.
• Frieze 등에 영감을 받은 랜덤 부분매트릭스 샘플링을 통한 저랭크 근사 기법을 활용해 A 의 압축 표현을 구성하기.
• 이중 단계 접근법: 먼저 샘플된 부분매트릭스를 이용해 A 의 의사역행렬을 추정하고, 이후 효율적인 벡터-매트릭스 곱셈 추정을 통해 b 에 적용하기.
• 샘플된 부분매트릭스를 기반으로 한 새로운 압축 표현 방식을 도입하여, A⁻¹b 원소 계산 및 샘플링을 효율적으로 수행할 수 있도록 하기.
• 벡터에 대한 샘플링 액세스를 이용한 내적(예: x†Mx)의 오차 유계 추정 기법을 적용하여 Tang 의 프레임워크를 확장하기.
• 작은 부분매트릭스에 대해 특이값 분해(SVD)를 적용해 주요 특이부공간을 근사한 후, 특이값을 역행렬화하여 A⁻¹b 를 추정하기.

실험 결과

연구 질문

• RQ1 고전적 알고리즘이 HHL 양자 알고리즘과 동일한 로그 런타임을 갖는 저랭크 선형 시스템을 하위선형 시간 내에 해결할 수 있는가?
• RQ2 A 와 b 에 대한 어떤 샘플링 가정 하에 전체 매트릭스를 읽지 않고도 A⁻¹b 에서의 샘플링 또는 원소 추정을 효율적으로 수행할 수 있는가?
• RQ3 탈양자화 프레임워크는 추천 시스템을 넘어서 일반적인 저랭크 구조를 갖는 선형 시스템으로 확장될 수 있는가?
• RQ4 조건수 κ 와 프로베니우스 노름 ∥A∥F 는 샘플링 액세스 하에 고전적 해법의 쿼리 및 시간 복잡도에 어떤 영향을 미치는가?
• RQ5 샘플링 액세스 하에서 근사 오차 ϵ 과 계산 비용 사이의 상충 관계는 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 O(poly(k, κ, ∥A∥F, 1/ϵ) polylog(m, n)) 의 쿼리 및 시간 복잡도를 달성하여, 저랭크 선형 시스템에 대한 하위선형 계산을 가능하게 한다.
• 샘플링 알고리즘은 총 변동 거리 기준으로 DA⁻¹b 와 ϵ 이내인 분포를 성공 확률 1−δ 로 생성한다.
• 쿼리 알고리즘은 동일한 복잡도 기준으로 어떤 원소 (A⁻¹b)(i) 도 덧셈 오차 ϵ 이내로 추정하며 성공 확률 1−δ 를 확보한다.
• A 가 양의 준정부호일 경우, b 에 대한 샘플링 가정을 제거할 수 있으며, b 의 원소에 직접 액세스할 수 있다.
• 알고리즘은 근사 오차에 대해 강건하다: 오차 매개변수를 재스케일링함으로써 총 오차는 ϵ 이내로 제한되며, k, κ, ∥A∥F, 및 ∥b∥ 에 명시적인 의존성 존재.
• 동일한 샘플링 원천을 활용해 x†Mx 와 같은 이차형식의 효율적 추정이 가능하여, 더 넓은 머신러닝 작업으로의 적용 가능성을 확장한다.