[논문 리뷰] Coordinate Descent Algorithms for Phase Retrieval

Wenjun Zeng, Hing Cheung So|arXiv (Cornell University)|2017. 06. 12.

Advanced X-ray Imaging Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 좌표강하(CD) 알고리즘—순환형, 랜덤형, 급진형—을 제안하며, 비볼록 4차 최소화 문제를 단일 변수를 번갈아 최적화함으로써 닫힌 형태의 단변수 3차 방정식의 근을 이용해 풀어 단일 변수 최적화를 반복함으로써 단일 변수를 반복적으로 최적화함으로써 비볼록 4차 최소화 문제를 해결한다. 이 방법들은 정류점으로의 전역 수렴을 달성하며, 충분한 표본 크기 하에서 랜덤형 CD는 기하급수적 속도로 전역 최소값으로 수렴하고 고도의 확률로 정확한 복원을 달성하며, 밀도 있는 신호와 희소 신호 모두에서 기존 최고 수준의 방법들보다 빠르고 정확한 성능을 보이며, 블라인드 이퀄라이제이션 응용 분야에서도 동일하게 뛰어난 성능을 발휘한다.

ABSTRACT

Phase retrieval aims at recovering a complex-valued signal from magnitude-only measurements, which attracts much attention since it has numerous applications in many disciplines. However, phase recovery involves solving a system of quadratic equations, indicating that it is a challenging nonconvex optimization problem. To tackle phase retrieval in an effective and efficient manner, we apply coordinate descent (CD) such that a single unknown is solved at each iteration while all other variables are kept fixed. As a result, only minimization of a univariate quartic polynomial is needed which is easily achieved by finding the closed-form roots of a cubic equation. Three computationally simple algorithms referred to as cyclic, randomized and greedy CDs, based on different updating rules, are devised. It is proved that the three CDs globally converge to a stationary point of the nonconvex problem, and specifically, the randomized CD locally converges to the global minimum and attains exact recovery at a geometric rate with high probability if the sample size is large enough. The cyclic and randomized CDs are also modified via minimization of the $\ell_1$-regularized quartic polynomial for phase retrieval of sparse signals. Furthermore, a novel application of the three CDs, namely, blind equalization in digital communications, is proposed. It is demonstrated that the CD methodology is superior to the state-of-the-art techniques in terms of computational efficiency and/or recovery performance.

연구 동기 및 목표

• 크기 측정값만으로부터 유도되는 이차 방정식을 포함하는 비볼록, NP-완전한 단계 복원 문제에 도전한다.
• PhaseLift와 PhaseCut와 같은 볼록 완화 방법에서 사용되는 정수계획법의 높은 비용을 피하기 위해 계산적으로 효율적인 알고리즘을 개발한다.
• Wirtinger 플로우와 같은 기울기 기반 방법보다 수렴 속도를 가속화하고 복원 정확도를 향상시키기 위해 개선한다.
• 압축 감지 응용 분야를 위해 ℓ₁-정규화를 사용한 희소 신호 복원을 위한 ℓ₁-정규화된 CD 프레임워크를 확장한다.
• 디지털 통신에서의 블라인드 이퀄라이제이션에 대한 CD의 새로운 응용을 보여주며, 더 낮은 ISI와 더 높은 정확도를 달성한다.

제안 방법

• CD 프레임워크는 모든 변수를 고정하고 하나의 변수만 최적화함으로써 단변수 4차 다항식을 반복적으로 최소화하며, 하위 문제는 닫힌 형태의 근을 가진 단일 변수 3차 방정식의 해법으로 축소된다.
• 세 가지 변형이 제안된다: 순환형(C-CD), 랜덤형(R-CD), 급진형(G-CD)으로, 각 반복에서 갱신할 좌표를 선택하는 규칙이 다르다.
• 희소 신호의 경우, 해의 희소성을 촉진하기 위해 ℓ₁-정규화된 4차 다항식을 최소화하는 ℓ₁-정규화된 CD가 도입된다.
• 이론적 분석을 통해 비볼록 목적 함수의 정류점으로 모든 세 가지 CD 변형이 전역 수렴함을 증명한다.
• R-CD의 경우, 충분한 표본 크기 하에서 전역 최소값으로의 수렴이 고도의 확률로 발생하며 기하급수적 속도로 정확한 복원이 이루어짐을 증명한다.
• 등화자 모델링을 통해 블라인드 이퀄라이제이션에 적용하며, CD를 사용해 소음이 있는 왜곡된 관측치로부터 전송 신호를 복원한다.

실험 결과

연구 질문

• RQ1 Wirtinger 플로우와 같은 기울기 기반 방법보다 더 빠른 수렴 속도를 달성하기 위해 좌표강하가 단계 복원에 효과적으로 적용될 수 있는가?
• RQ2 충분한 표본 수가 확보된 조건 하에서 랜덤형 좌표강하는 고도의 확률로 전역 최소값으로 수렴하는가? 그리고 수렴 속도는 어떠한가?
• RQ3 ℓ₁-정규화된 좌표강하는 단계 복원에서 희소 신호의 복원 성능을 향상시킬 수 있는가?
• RQ4 블라인드 이퀄라이제이션에서 제안된 CD 프레임워크는 계산 효율성과 복원 정확도 측면에서 기존 최고 수준의 방법들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 소음이 있는 왜곡된 신호를 가진 실세계 응용 분야, 예를 들어 디지털 통신에서 좌표강하가 성공적으로 확장될 수 있는가?

주요 결과

• 순환형, 랜덤형, 급진형 CD의 세 가지 변형은 임의의 초기값에 대해 비볼록 단계 복원 문제의 정류점으로 전역 수렴한다.
• 표본 크기가 충분히 클 경우, 랜덤형 CD는 고도의 확률로 전역 최소값으로 수렴하고 기하급수적 속도로 정확한 복원을 달성한다.
• 절댓값 편미분이 가장 큰 좌표를 선택하는 급진형 CD 변형은 순환형 및 랜덤형 CD보다 더 빠른 수렴 속도를 보인다.
• 노이즈가 없는 조건에서 CD 알고리즘은 Wirtinger 플로우와 유사하거나 略적으로 더 높은 성공률를 기록하며, GCD는 WF를 약간 앞서고, CCD/RCD는 약간 뒤지지만 전체적으로 유사한 성능를 보인다.
• 희소 신호의 경우, ℓ₁-정규화된 CD(ℓ₁-CCD 및 ℓ₁-RCD)는 측정 수가 적을 때 WF, PhaseLift, PhaseCut, 그리고 희소 GS보다 뚜렷이 뛰어난 성능를 발휘한다.
• 블라인드 이퀄라이제이션에서 CD 기반 방법은 Wirtinger 플로우, WFOS, 초초기수 알고리즘보다 더 낮은 ISI와 더 높은 신호 복원 정확도를 달성하며, CCD가 가장 우수한 성능를 보였다.