[논문 리뷰] Solving Systems of Quadratic Equations via Exponential-type Gradient Descent Algorithm

Meng Huang, Zhiqiang Xu|arXiv (Cornell University)|2018. 06. 04.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 3

한 줄 요약

이 논문은 가우시안 측정값으로부터 저질서 행렬 복원을 위한 이차방정식 시스템을 해결하기 위해 지수형 경사하강법을 제안한다. 이 알고리즘은 진짜 행렬(직교 변환을 제외한)으로 선형 수렴을 달성하며, O(nr log(cr))개의 측정값을 요구한다. 이는 이전의 결과들에 비해 조건수나 해의 프로베니우스 노름에 대한 의존성을 제거하여 크게 향상된 결과이다.

ABSTRACT

We consider the rank minimization problem from quadratic measurements, i.e., recovering a rank $r$ matrix $X \in \mathbb{R}^{n imes r}$ from $m$ scalar measurements $y_i=a_i^{ op} XX^{ op} a_i,\;a_i\in \mathbb{R}^n,\;i=1,\ldots,m$. Such problem arises in a variety of applications such as quadratic regression and quantum state tomography. We present a novel algorithm, which is termed exponential-type gradient descent algorithm, to minimize a non-convex objective function $f(U)=\frac{1}{4m}\sum_{i=1}^m(y_i-a_i^{ op} UU^{ op} a_i)^2$. This algorithm starts with a careful initialization, and then refines this initial guess by iteratively applying exponential-type gradient descent. Particularly, we can obtain a good initial guess of $X$ as long as the number of Gaussian random measurements is $O(nr)$, and our iteration algorithm can converge linearly to the true $X$ (up to an orthogonal matrix) with $m=O\left(nr\log (cr) ight)$ Gaussian random measurements.

연구 동기 및 목표

• 저질서 행렬을 이차 측정값으로부터 효율적으로 복원하기 위한 알고리즘을 개발하는 것. 이는 양자 상태 톰오그래피 및 단층 촬영과 같은 애플리케이션에서 발생한다.
• 이전 알고리즘들이 해의 조건수나 프로베니우스 노름에 대해 강한 가정이 필요로 하는 한계를 극복하는 것.
• 최소한의 샘플 복잡도로 선형 수렴을 달성하는 것. 특히 O(nr log(cr))개의 가우시안 측정값을 요구한다.
• 진짜 행렬로의 전역 수렴에 대한 이론적 보장을 제공하는 것. 직교 변환을 고려한 수준에서이다.

제안 방법

• 저질서 행렬의 추정치를 정교하게 초기화한 후 이를 개선하는 지수형 경사하강법을 도입한다.
• 비볼록 최적화 설정을 사용하여 최소제곱 목적함수 f(U) = (1/4m)Σ(y_i - ||a_i^T U||²)²를 최소화한다.
• O(nr)개의 가우시안 측정값으로 충분히 좋은 초기 추정치를 확보할 수 있는 새로운 초기화 전략을 활용한다.
• 해의 헤시안의 구조와 목적함수의 곡률을 활용하는 지수형 경사 업데이트를 적용한다.
• 집중 부등식과 스펙트럼 분석을 활용하여 무작위 가우시안 측정값 하에서 헤시안의 행동을 근사한다.
• 직교 불변성과 특이값 분해을 활용하여 진짜 해로의 수렴을 직교 행렬을 고려한 수준에서 분석한다.

실험 결과

연구 질문

• RQ1 저질서 행렬 복원에서 유래된 이차방정식 시스템을 해결하기 위해 지수형 경사하강법이 선형 수렴을 달성할 수 있는가?
• RQ2 직교 변환을 고려한 저질서 r의 행렬을 정확히 복원하기 위해 필요한 최소한의 가우시안 측정값 수는 얼마인가?
• RQ3 조건수나 프로베니우스 노름에 의존하는 이전 방법들과 비교해 복잡도 측면에서 제안된 알고리즘이 어떻게 다른가?
• RQ4 강한 초기화나 해에 대한 제한적인 가정 없이도 알고리즘이 전역 수렴을 달성할 수 있는가?
• RQ5 지수형 업데이트 규칙은 수렴 성능 향상과 측정값 요구량 감소에 어떤 역할을 하는가?

주요 결과

• 알고리즘은 O(nr log(cr))개의 가우시안 측정값으로 진짜 행렬 X(직교 행렬을 고려한)로 선형 수렴을 달성한다.
• 오직 O(nr)개의 가우시안 측정값으로도 좋은 초기 추정치를 확보할 수 있어 전역 수렴이 가능하다.
• 이전의 접근 방식과 달리 해의 조건수나 프로베니우스 노름에 대한 가정이 필요로 하지 않는다.
• 이론적 분석을 통해 목적함수의 헤시안이 해 근처에서 잘 조절되어 있음을 보여주며, 이는 빠른 수렴을 가능하게 한다.
• 지수형 업데이트 규칙은 낮은 국소 최솟값을 피하고 온전한 최적해로 수렴하도록 보장한다. 이는 온건한 조건 하에서 성립한다.
• 샘플 복잡도 O(nr log(cr))는 로그 인자 수준에서 최적이며, 알려진 정보 이론적 하한선과 일치한다.