[논문 리뷰] Provable Non-convex Phase Retrieval with Outliers: Median Truncated Wirtinger Flow

Huishuai Zhang, Yuejie Chi외 1명|arXiv (Cornell University)|2016. 03. 11.

Advanced X-ray Imaging Techniques참고 문헌 26인용 수 73

한 줄 요약

이 논문은 임의의 이상치가 있는 조건에서도 근사적으로 최적의 가우시안 측정값을 사용하여 신호 복원을 보장하는 강건한 비볼록 최적화 알고리즘인 중앙값 절단 위르팅어 플로우(Median-Truncated Wirtinger Flow, median-TWF)를 제안한다. 기존의 기울기 업데이트를 중앙값 기반 추정량으로 대체함으로써, 일정 비율의 측정값이 임의로 손상된 경우에도 보장된 신호 복원 성능을 달성한다. 이는 유한한 노이즈 상황으로도 일반화 가능하다.

ABSTRACT

Solving systems of quadratic equations is a central problem in machine learning and signal processing. One important example is phase retrieval, which aims to recover a signal from only magnitudes of its linear measurements. This paper focuses on the situation when the measurements are corrupted by arbitrary outliers, for which the recently developed non-convex gradient descent Wirtinger flow (WF) and truncated Wirtinger flow (TWF) algorithms likely fail. We develop a novel median-TWF algorithm that exploits robustness of sample median to resist arbitrary outliers in the initialization and the gradient update in each iteration. We show that such a non-convex algorithm provably recovers the signal from a near-optimal number of measurements composed of i.i.d. Gaussian entries, up to a logarithmic factor, even when a constant portion of the measurements are corrupted by arbitrary outliers. We further show that median-TWF is also robust when measurements are corrupted by both arbitrary outliers and bounded noise. Our analysis of performance guarantee is accomplished by development of non-trivial concentration measures of median-related quantities, which may be of independent interest. We further provide numerical experiments to demonstrate the effectiveness of the approach.

연구 동기 및 목표

• 측정값이 임의의 이상치에 의해 손상될 경우 기존의 비볼록 단층 회수 방법(예: WF 및 TWF)이 실패하는 문제를 해결한다.
• 일정 비율의 측정값이 손상된 상황에서도 수렴성과 정확성을 유지하는 강건한 최적화 프레임워크를 개발한다.
• 임의의 이상치와 유한한 노이즈 상황 모두에서 신호 복원을 위한 이론적 보장을 제공한다. 이는 중앙값 기반 접근법을 사용한다.
• 적대적인 오염이 존재하는 상황에서도 샘플 복잡도에 로그 인자 수준의 추가 비용만 발생시키며 성능 한계를 확립한다.

제안 방법

• 초기화 및 반복적 업데이트 단계에서 기울기 업데이트를 중앙값 기반 추정량으로 대체하여 이상치에 대한 민감도를 감소시킨다.
• 극단적인 측정값을 가중치를 낮추는 중앙값 절단 목적 함수를 도입함으로써, 임의의 오염에 대한 강건성을 향상시킨다.
• 중앙값과 관련된 통계량을 분석하기 위해 특화된 농도 부등식을 활용하여 이상치 조건 하에서의 수렴성과 안정성 분석을 수행한다.
• 독립 동일분포 가우시안 측정값을 입력으로 사용함으로써, 오직 로그 인자 수준의 추가 비용만 발생시키며 근사적으로 최적의 샘플 복잡도를 확보한다.
• 중앙값 기반 기울기 추정과 신호 업데이트 단계를 번갈아 적용하는 반복 알고리즘을 설계하여 진짜 신호로의 수렴을 보장한다.
• 일반적인 오염 모델(임의의 이상치와 유한한 노이즈의 혼합)을 처리할 수 있도록 프레임워크를 확장하며, 이론적 보장을 유지한다.

실험 결과

연구 질문

• RQ1 일정 비율의 측정값이 임의로 손상된 경우 비볼록 단층 회수 알고리즘이 보장된 복원 성능을 유지할 수 있는가?
• RQ2 이상치 존재 조건 하에서 표준 위르팅어 플로우에 비해 중앙값 기반 기울기 추정이 얼마나 강건한가?
• RQ3 임의의 이상치 조건 하에서 안정적인 신호 복원을 위해 필요한 최소한의 i.i.d. 가우시안 측정값 수는 얼마인가?
• RQ4 제안된 방법은 임의의 이상치와 유한한 노이즈를 동시에 포함하는 혼합 오염 모델을 처리할 수 있는가?
• RQ5 고차원 비볼록 최적화에서 중앙값 기반 추정량을 분석하기 위해 필요한 새로운 농도 한계는 무엇인가?

주요 결과

• median-TWF는 일정 비율의 측정값이 임의로 손상된 경우에도, 근사적으로 최적의 i.i.d. 가우시안 측정값 수를 사용하여 진짜 신호를 보장적으로 복원한다. 이는 오직 로그 인자 수준의 추가 비용만 발생시킨다.
• 극단적인 값에 대한 표본 중앙값의 불민감성 덕분에, 초기화 단계와 반복적 기울기 업데이트 단계 모두에서 강건성이 유지된다.
• 이론적 보장이 임의의 이상치와 유한한 노이즈가 동시에 존재하는 상황으로도 확장되어, 혼합 오염 모델에 대한 강건성을 입증한다.
• 중앙값과 관련된 양에 대한 비트란 농도 측정치를 개발하였으며, 이는 독립적인 이론적 관심사로도 가치가 있다.
• 수치 실험을 통해 median-TWF가 높은 이상치 비율 조건 하에서도 기존의 TWF 및 WF보다 더 효과적으로 신호를 복원하는 것으로 확인되었다.