[論文レビュー] Provable Non-convex Phase Retrieval with Outliers: Median Truncated Wirtinger Flow

Huishuai Zhang, Yuejie Chi+1 more|arXiv (Cornell University)|Mar 11, 2016

Advanced X-ray Imaging Techniques参考文献 26被引用数 73

ひとこと要約

本稿では、任意の外れ値が存在する条件下でも、信号再構成を保証する非凸最適化手法として、中央値トリuncated Wirtinger Flow（median-TWF）を提案する。勾配更新を中央値に基づく推定器に置き換えることで、近似的に最適なガウス測定値からも、測定値の一定割合が任意に破損している状況ですら、信号再構成が保証される。また、この保証は、有界ノイズの状況にも拡張可能である。

ABSTRACT

Solving systems of quadratic equations is a central problem in machine learning and signal processing. One important example is phase retrieval, which aims to recover a signal from only magnitudes of its linear measurements. This paper focuses on the situation when the measurements are corrupted by arbitrary outliers, for which the recently developed non-convex gradient descent Wirtinger flow (WF) and truncated Wirtinger flow (TWF) algorithms likely fail. We develop a novel median-TWF algorithm that exploits robustness of sample median to resist arbitrary outliers in the initialization and the gradient update in each iteration. We show that such a non-convex algorithm provably recovers the signal from a near-optimal number of measurements composed of i.i.d. Gaussian entries, up to a logarithmic factor, even when a constant portion of the measurements are corrupted by arbitrary outliers. We further show that median-TWF is also robust when measurements are corrupted by both arbitrary outliers and bounded noise. Our analysis of performance guarantee is accomplished by development of non-trivial concentration measures of median-related quantities, which may be of independent interest. We further provide numerical experiments to demonstrate the effectiveness of the approach.

研究の動機と目的

• 測定値が任意の外れ値によって損なわれた場合に、既存の非凸位相再構成手法（WF や TWF）が失敗することを解決する。
• 一定割合の測定値が破損している状況でも、収束性と精度を維持する、耐性のある最適化フレームワークを構築する。
• 中央値に基づくアプローチを用いて、任意の外れ値および有界ノイズの両方の状況において、信号再構成の理論的保証を提供する。
• 敵対的破損が存在する状況でも、サンプル複雑度に対して対数的要因のわずかなペナルティしか生じない性能バインディングを確立する。

提案手法

• 初期化段階および反復的更新における外れ値への感受性を低減するため、Wirtinger Flow の標準的勾配更新を中央値に基づく推定器に置き換える。
• 極端な測定値を軽減するため、中央値トリuncatedの目的関数を導入し、任意の破損に対する耐性を高める。
• 中央値関連統計に特化した集中不等式を活用し、外れ値の存在下での収束性および安定性を分析する。
• i.i.d. ガウス測定値を入力とし、対数的要因のペナルティのみで、近似的に最適なサンプル複雑度を達成する。
• 中央値に基づく勾配推定と信号更新ステップを交互に繰り返す反復的アルゴリズムを設計し、真の信号への収束を保証する。
• 任意の外れ値と有界ノイズの混合破損を扱えるようにフレームワークを拡張し、理論的保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 測定値の一定割合が任意に破損している状況下でも、非凸位相再構成アルゴリズムが、保証された再構成性能を維持できるか？
• RQ2 外れ値が存在する状況において、中央値に基づく勾配推定は、標準的 Wirtinger Flow よりもどのように耐性を向上させるか？
• RQ3 任意の外れ値が存在する状況下で、安定な信号再構成を達成するために必要な i.i.d. ガウス測定値の最小数は何か？
• RQ4 提案手法は、任意の外れ値と有界ノイズの混合破損モデルを処理できるか？
• RQ5 高次元非凸最適化における中央値関連推定器の分析に必要な、新たな集中不等式は何か？

主な発見

• median-TWF は、測定値の一定割合が任意に破損している状況下でも、近似的に最適な i.i.d. ガウス測定値の数（対数的要因のペナルティを除く）から、真の信号を保証的に再構成可能である。
• 極端な値への感受性が低い標本中央値を活用することで、初期化段階および反復的勾配更新の両方において、耐性が維持される。
• 理論的保証は、任意の外れ値と有界ノイズの両方の状況にまで拡張され、混合破損モデルに対する耐性を示している。
• 中央値関連量の非自明な集中測度が開発され、それらが独立した理論的関心を有することが示された。
• 数値実験により、median-TWF が、外れ値率が高い状況下でも、破損した環境下で標準的 TWF や WF より優れた性能を示すことが確認された。