[논문 리뷰] An n\log n Lower Bound for Fourier Transform Computation in the Well Conditioned Model

Nir Ailon|arXiv (Cornell University)|2014. 03. 06.

Blind Source Separation Techniques참고 문헌 4인용 수 3

한 줄 요약

이 논문은 R-좋은 조건을 가진 선형 회로 모델에서 푸리에 변환의 어떤 스케일링을 계산하는 데 있어 Ω((n log n)/R)의 하한을 확립한다. 여기서 R은 균일 조건 수이다. 저자들은 준확률의 준엔트로피를 기반으로 한 새로운 잠재함수를 도입함으로써 이전 방법의 한계를 극복하고, R이 유계일 경우 정규화된 푸리에 변환에 Ω(n log n)의 단계가 필요하다는 것을 증명함으로써, 현실적인 계산 모델에서 오랫동안 열려 있던 문제를 해결한다.

ABSTRACT

Obtaining a non-trivial (super-linear) lower bound for computation of the Fourier transform in the linear circuit model has been a long standing open problem for over 40 years. An early result by Morgenstern from 1973, provides an $Ω(n \log n)$ lower bound for the unnormalized Fourier transform when the constants used in the computation are bounded. The proof uses a potential function related to a determinant. The result does not explain why the normalized Fourier transform (of unit determinant) should be difficult to compute in the same model. Hence, the result is not scale insensitive. More recently, Ailon (2013) showed that if only unitary 2-by-2 gates are used, and additionally no extra memory is allowed, then the normalized Fourier transform requires $Ω(n\log n)$ steps. This rather limited result is also sensitive to scaling, but highlights the complexity inherent in the Fourier transform arising from introducing entropy, unlike, say, the identity matrix (which is as complex as the Fourier transform using Morgenstern's arguments, under proper scaling). In this work we extend the arguments of Ailon (2013). In the first extension, which is also the main contribution, we provide a lower bound for computing any scaling of the Fourier transform. Our restriction is that, the composition of all gates up to any point must be a well conditioned linear transformation. The lower bound is $Ω(R^{-1}n\log n)$, where $R$ is the uniform condition number. Second, we assume extra space is allowed, as long as it contains information of bounded norm at the end of the computation. The main technical contribution is an extension of matrix entropy used in Ailon (2013) for unitary matrices to a potential function computable for any matrix, using Shannon entropy on "quasi-probabilities".

연구 동기 및 목표

• 선형 회로 모델에서 정규화된 푸리에 변환의 계산 복잡도에 대한 이해 격차를 해소하기 위해, 이전의 하한이 스케일에 의존하거나 2×2 유니터리 게이트에 국한된 경우를 해결한다.
• 각 단계에서 잘 조건화된 변환을 요구함으로써 실제 계산을 반영하는 모델을 개발하여 안정성과 정확성을 확보한다.
• 기존의 Ailon의 엔트로피 기반 방법을 유니터리 행렬을 초월해 일반적인 가역 행렬로 확장하기 위해 준엔트로피를 기반으로 한 새로운 잠재함수를 도입한다.
• 푸리에 변환의 스케일링에 민감하지 않은 하한을 확립하여 Morgenstern의 행렬식 기반 접근법의 핵심 한계를 해결한다.
• 새로운 잠재함수를 푸리에 변환을 초월한 다른 선형 대수 연산으로 일반화할 수 있는지 조사한다.

제안 방법

• 행렬 원소와 그 역행렬의 연합 분포의 준엔트로피를 기반으로 한 새로운 잠재함수 Φ_n(M)을 도입하며, 준확률에 대한 일반화된 f-분산을 사용하여 정의한다.
• R-좋은 조건 모델을 정의하여, 모든 부분적 게이트 조합의 조건 수가 최대 R이 되도록 하며, 수치적 안정성을 보장한다.
• 회로 행렬의 부분행렬에 대한 스펙트럼 노름 한계를 활용하여 잠재함수의 성장률을 제약하고, 각 단계에서 잠재함수의 증가가 최대 O(R)임을 보인다.
• 레마 5.2를 활용하여 행렬의 역행렬의 주요 블록이 잠재함수에 기여하는 바를 하한으로 제시하며, 비대각 블록의 노름 제약 조건을 활용한다.
• 잠재함수의 초기 값(0)과 최종 값(Ω(n log n))의 한계를 조합하고, 단계별 성장률이 O(R)임을 고려하여 총 하한 Ω((n log n)/R)을 유도한다.
• 추가 출력 공간이 있는 경우에도, 추가 상태 벡터의 노름을 제한하고 동일한 잠재함수를 사용하여 유사한 하한을 도출한다.

실험 결과

연구 질문

• RQ1 정리 3.1의 하한에서 R에 대한 의존성이 날카롭거나, 잘 조건화된 행렬의 더 강력한 성질을 활용해 향상시킬 수 있는가?
• RQ2 추가 출력 공간을 允허하는 정리 5.3의 하한도 추가 공간의 노름에 대한 의존성이 날카로운가?
• RQ3 제안된 준엔트로피 기반 잠재함수를 푸리에 변환을 초월한 다른 선형 대수 연산의 하한을 증명하는 데 사용할 수 있는가?
• RQ4 다른 유니터리 행렬과는 달리, 대부분의 유니터리 행렬에 대해 이 방법이 날카운 하한을 증명하지 못하는 이유는 무엇이며, 이로 인해 보편적으로 적용되지 못하는 구조적 차이는 무엇인가?
• RQ5 왜 엔트로피 잠재함수는 유니터리 행렬에서는 전역적으로 유계이기 때문에, 일반적인 유니터리 연산에 대해 Ω(n²) 하한을 증명하는 데 제한을 받는가?

주요 결과

• 논문은 R-좋은 조건을 가진 선형 회로 모델에서 푸리에 변환의 어떤 스케일링을 계산하는 데 있어 Ω((n log n)/R)의 하한을 확립한다. 여기서 R은 균일 조건 수이다.
• 이 하한은 푸리에 변환의 스케일링에 영향을 받지 않아 정규화에 대해 강건하며, Morgenstern의 행렬식 기반 접근법의 핵심 한계를 해결한다.
• 잠재함수 Φ_n(M)은 각 게이트 적용 시 최대 O(R)만큼 증가하며, 최종 값이 Ω(n log n)이므로 적어도 Ω((n log n)/R)개의 게이트가 필요하다는 것을 의미한다.
• 이 방법은 Ailon의 엔트로피 기반 접근법을 유니터리 행렬에서 일반적인 가역 행렬으로 확장하기 위해 준확률에 대한 새로운 준엔트로피 개념을 도입함으로써 일반화된다.
• 추가 출력 공간이 허용되더라도, 추가 상태의 노름이 유계이면 하한은 여전히 Ω((n log n)/R) 유지된다.
• 결과적으로, 정규화된 푸리에 변환은 R-좋은 조건 모델에서 Ω(n log n)단계 이하로는 계산될 수 없으며, 이는 FFT 상한과 일치하여 현실적인 가정 하에서 최적임을 확인한다.