[논문 리뷰] Approximating Orthogonal Matrices with Effective Givens Factorization

Thomas Frerix, Joan Bruna|arXiv (Cornell University)|2019. 05. 14.

Matrix Theory and Algorithms참고 문헌 13인용 수 7

한 줄 요약

이 논문은 2차원 부분공간에서 작용하는 Givens 회전을 최소화하여 유니터리 행렬을 근사하기 위한 희소성 유도 최적화 방법을 제안한다. 다각도적 좌표 강하법을 사용한 L1 유사 잠재력과 함께, 그래프 푸리에 변환과 같은 구조적 행렬에 대해 O(d log d) 요소로 효과적인 분해를 달성하며, 여러 실제 그래프에서 기준 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We analyze effective approximation of unitary matrices. In our formulation, a unitary matrix is represented as a product of rotations in two-dimensional subspaces, so-called Givens rotations. Instead of the quadratic dimension dependence when applying a dense matrix, applying such an approximation scales with the number factors, each of which can be implemented efficiently. Consequently, in settings where an approximation is once computed and then applied many times, such a representation becomes advantageous. Although effective Givens factorization is not possible for generic unitary operators, we show that minimizing a sparsity-inducing objective with a coordinate descent algorithm on the unitary group yields good factorizations for structured matrices. Canonical applications of such a setup are orthogonal basis transforms. We demonstrate numerical results of approximating the graph Fourier transform, which is the matrix obtained when diagonalizing a graph Laplacian.

연구 동기 및 목표

• 반복적으로 적용될 때 계산 비용을 줄이는 데 효과적인 직교 행렬 근사 방법을 개발하기 위해.
• 국소적인 2차원 회전인 Givens 회전 수를 최소화하여 유니터리 연산자를 근사하는 데 도전하기 위해.
• 특히 그래프 라플라시안에서 유도되는 행렬과 같은 구조적 행렬이 이차 복잡도 이하의 복잡도로 효과적인 Givens 분해를 허용하는지 탐색하기 위해.
• 희소성 장려 최적화 프레임워크를 활용하여 그래프 푸리에 변환에 대해 기존의 탐욕적 및 자코비 기반 근사 방법을 향상시키기 위해.

제안 방법

• Givens 분해 문제를 유니터리 행렬 위에서 희소성 유도 잠재 함수 f(U) = ||U||₁를 최소화하는 최적화 문제로 설정하며, U(d) 위에서 정의된다.
• 유니터리 군 위에서의 기울기 흐름을 정의하여 목표 행렬 U에서 가장 가까운 부호 부여된 순열 행렬로의 경로를 설정하며, 이는 군 내에서 가장 희소한 원소이다.
• Givens 회전을 생성자로 사용한 좌표 강하법을 적용하여 이 경로를 근사적으로 따라가며, 반복적으로 분해를 정밀화한다.
• 다양체 최적화와 L1 유사 정규화를 활용하여 NP-완전한 조합 선택 문제를 완화한다.
• 성능 비교를 위해 탐욕 기반 기준과 빔 검색 변종을 사용하며, L1 알고리즘은 여러 실제 그래프에서 뛰어난 성능을 보였다.
• 합성 심층 인과 행렬과 실제 그래프 라플라시안 양쪽에서 방법을 검증하였으며, 대칭 프로베니우스 노름을 사용해 근사 오차를 측정하였다.

실험 결과

연구 질문

• RQ1 일반적인 유니터리 행렬이 Ω(d²/log d) 요소를 필요로 하는 반면, 구조적 직교 행렬이 O(d log d) Givens 회전으로 효과적으로 근사될 수 있는가?
• RQ2 유니터리 군 위에서 L1 유사 잠재력을 최소화하는 것이 그래프 푸리에 변환에 대해 탐욕적 또는 자코비 기반 방법보다 더 나은 Givens 분해를 제공하는가?
• RQ3 대상 행렬의 희소성과 좌표 강하 알고리즘이 낮은 랭크 Givens 근사치를 찾는 데 성공하는 데의 관계는 무엇인가?
• RQ4 희소성 장려 방법이 기존의 자르기된 자코비 또는 탐욕적 선택 방법보다 우월한 그래프 또는 행렬의 어떤 클래스에서 효과를 발휘하는가?
• RQ5 시간에 따라 변화하는 연산자, 예를 들어 최적화 과정에서 변화하는 헤시안 행렬에 대해 동적 Givens 분해를 유지함으로써 제안된 방법을 확장할 수 있는가?

주요 결과

• 제안된 L1 기반 좌표 강하 알고리즘은 미네소타, 히ュ먼프로틴, EMail 그래프에서 탐욕 기반 기준보다 더 나은 분해를 달성하며, 대칭 프로베니우스 노름 기준으로 더 낮은 근사 오차를 기록하였다.
• 약 0.25n(n−1)/2개의 간선을 가진 바라바시-알버트 그래프에서, n=512 및 n=2014일 때 L1 방법이 탐욕 기반 기준을 능가했지만, 일부 경우에서 n=1024일 땐 탐욕 방법이 더 우수한 성능을 보였다.
• 실제 그래프에서, n log₂(n) 요소를 사용할 경우, 미네소타(2642 정점), 히ュ먼프로틴(3133), EMail(1133) 네트워크에서 L1 알고리즘이 가장 낮은 근사 오차를 기록하였다.
• 이 방법은 O(d log d) Givens 요소로 그래프 푸리에 변환을 효과적으로 근사하며, 희소 행렬 영역을 초월한 구조적 행렬의 효과적인 분해가 가능함을 보여주었다.
• 이론적 분석을 통해 일반적인 유니터리 행렬은 효과적인 근사를 위해 Ω(d²/log d) 개의 Givens 요소를 필요로 함을 밝혀내었으며, 효율적 분해를 가능하게 하는 데서 구조의 중요성을 강조하였다.
• L1 알고리즘의 빔 검색 확장은 경미한 계산 오버헤드로 성능을 향상시켰으며, 검색 공간 내에서의 추가 최적화 가능성을 시사한다.