[論文レビュー] Misspecified Nonconvex Statistical Optimization for Phase Retrieval

Zhuoran Yang, Lin F. Yang+4 more|arXiv (Cornell University)|Dec 18, 2017

Advanced X-ray Imaging Techniques参考文献 57被引用数 4

ひとこと要約

本稿は、リンク関数が未知である単一インデックスモデルにおける高次元スパース位相再構成に対して、モデル不適合下でも頑健なしきい値付きウィーリングャー・フロー（TWF）アルゴリズムの変種を提案する。正しく指定されたモデルがなくても、応答変数と二乗内積の間に非ゼロ共分散があるという弱い条件を活用することで、最適な統計的精度を持つ推定量へ線形収束する。このため、任意の未知のリンク関数に対しても耐性を示す。

ABSTRACT

Existing nonconvex statistical optimization theory and methods crucially rely on the correct specification of the underlying "true" statistical models. To address this issue, we take a first step towards taming model misspecification by studying the high-dimensional sparse phase retrieval problem with misspecified link functions. In particular, we propose a simple variant of the thresholded Wirtinger flow algorithm that, given a proper initialization, linearly converges to an estimator with optimal statistical accuracy for a broad family of unknown link functions. We further provide extensive numerical experiments to support our theoretical findings.

研究の動機と目的

• 非凸最適化における既存理論の根本的限界、すなわち正しく指定された統計モデルを仮定している点を是正すること。
• 単一インデックスモデルにおける真のリンク関数が未知または不適合である場合の高次元スパース位相再構成を検討すること。
• モデル不適合下でも線形収束性と最適な統計的精度を維持するアルゴリズムの開発。
• 最小限の仮定の下で理論的保証を確立すること。具体的には、応答変数と二乗内積の間に非ゼロ共分散があるという条件のみを要件とする。

提案手法

• 反復的しきい値処理と勾配降下ステップを用いてスパarsityを維持する、修正されたしきい値付きウィーリングャー・フロー（TWF）アルゴリズムを提案。
• 真のパラメータの近傍への収束を保証するための適切な初期化を採用。
• Cov(Y, (X⊤β∗)²) ≠ 0 という弱い仮定に依存し、これは広範な未知リンク関数のクラスに対して成立する。
• 推定誤差を高次元確率的行列設定で制御するため、劣指数的および劣ガウス的集中不等式を用いる。
• 和集合の不等式と行列集中を適用し、ヘッセ行列や勾配項といった主要な経験的過程のバインドを確立。
• モデル同定性を保つために ∥β∗∥₂ = 1 を仮定し、パラメータにおける符号の不確かさを認識する。

実験結果

リサーチクエスチョン

• RQ1 位相再構成における真のリンク関数が未知または不適合である場合、非凸最適化手法が線形収束性と最適な統計的精度を達成できるか。
• RQ2 高次元スパース位相再構成において、収束性と推定の一貫性を保証するためのリンク関数に関する最小限の統計的仮定は何か。
• RQ3 応答変数と二乗線形予測子の間の非ゼロ共分散といった弱いモーメント条件のもとで、提案されたアルゴリズムはどのように動作するか。
• RQ4 単一インデックスモデル枠組みにおいて、しきい値付きウィーリングャー・フローはどの程度モデル不適合に対して頑健か。
• RQ5 真のリンク関数の知識がなくても、最適な統計的精度を維持できるか。

主な発見

• 提案されたアルゴリズムは、真のリンク関数が未知かつ不適合であっても、最適な統計的精度を持つ推定量へ線形収束する。
• Cov(Y, (X⊤β∗)²) ≠ 0 という弱い条件下で収束速度が線形であり、h(u,v) = u² + v、|u| + v、|u + v| といった標準例すべてで成立する。
• 推定誤差が O(√(s log p)/n) で有界であり、与えられたモデル下でのミニマックス下界と一致するため、最適な統計的精度を維持する。
• n = Ω(s² log p) の高次元漸近的設定のもとで理論的保証が成立し、大規模なpに対してもスケーラブルである。
• 劣指数的集中と和集合不等式を用いて主要な経験的過程の高確率的バインドを確立し、頑健性を裏付ける。
• 共分散条件が満たされる限り、任意の未知リンク関数に対しても耐性を示し、モデル不適合に対する強い耐性を示す。