[論文レビュー] Minimax rate of convergence and the performance of ERM in phase recovery

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|Nov 20, 2013

Advanced X-ray Imaging Techniques参考文献 14被引用数 7

ひとこと要約

本稿は、ノイズあり位相再構成における経験的リスク最小化（ERM）の性能を分析し、回復信号の推定誤差が制約集合のガウス平均幅と信号対雑音比（SNR）に依存することを示している。スパースベクトルおよび$β$-ボールに対して、ERMのミニマックス最適性を確立し、対数要因を除いて最適収束速度を達成することを証明している。

ABSTRACT

We study the performance of Empirical Risk Minimization in noisy phase retrieval problems, indexed by subsets of $\R^n$ and relative to subgaussian sampling; that is, when the given data is $y_i=\inr{a_i,x_0}^2+w_i$ for a subgaussian random vector $a$, independent noise $w$ and a fixed but unknown $x_0$ that belongs to a given subset of $\R^n$. We show that ERM produces $\hat{x}$ whose Euclidean distance to either $x_0$ or $-x_0$ depends on the gaussian mean-width of the indexing set and on the signal-to-noise ratio of the problem. The bound coincides with the one for linear regression when $\|x_0\|_2$ is of the order of a constant. In addition, we obtain a minimax lower bound for the problem and identify sets for which ERM is a minimax procedure. As examples, we study the class of $d$-sparse vectors in $\R^n$ and the unit ball in $\ell_1^n$.

研究の動機と目的

• サブガウス分布によるサンプリング下での位相再構成におけるミニマックス収束レートを分析すること。
• ノイズあり2次測定における経験的リスク最小化（ERM）の性能を評価すること。
• スパースベクトルや$β$-ボールのような構造的集合に対して、ERMがミニマックス最適となる条件を特定すること。
• ERMのレートと一致する下界を確立し、対数要因を除いて最適性を確認すること。

提案手法

• 高次項の挙動を制御するため、線形形式に小球仮定を適用する。
• 分散バウンドと小球推定の組み合わせを用いて、ERMの過剰リスクを分析する。
• 分析を$x_0$および$-x_0$の周囲に局所化するため、正規化された集合$T_{-,R}(x_0)$と$T_{+,R}(x_0)$を導入する。
• 制約集合$T$の複雑さの主要な測度としてガウス平均幅を用いる。
• 信号対雑音比、標本サイズ$N$、次元$n$の相互作用を用いて推定誤差の上界を導出する。
• スダコフの不等式とメトリックエントロピーの議論を用いて、ミニマックス下界を確立し、最適性を検証する。

実験結果

リサーチクエスチョン

• RQ1 サブガウス分布によるサンプリング下での位相再構成におけるミニマックス収束レートは何か？
• RQ2 ERMの性能は制約集合$T$の構造にどのように依存するか？
• RQ3 どのような条件下で、位相再構成におけるERMがミニマックス最適となるか？
• RQ4 信号対雑音比は、位相回復におけるERMの推定誤差にどのように影響するか？
• RQ5 ERMが達成するレートは、他の任意の手続きでも達成可能か、それとも最適か？

主な発見

• ERMの収束レートは、制約集合の局所幾何を捉える正規化された集合$T_{-,R}(x_0)$および$T_{+,R}(x_0)$のガウス平均幅に依存する。
• \|x_0\|_2が一定であるとき、ERMのレートは線形回帰と一致する。これは、サブガウス分布によるサンプリング下では、問題の2次性が性能を低下させないことを示している。
• \mathbb{R}^nにおける$d$-スパースベクトルに対して、ERMのレートは$\sqrt{d \log n / N}$のオーダーとなり、既知のミニマックスレートと一致する。
• $\ell_1^n$-ボールに対しては、スダコフの不等式による一致する下界により、ERMは$\sqrt{\log N}$要因を除いてミニマックス最適であることが確認された。
• 高ノイズ状態では、\|x_0\|_2が大きいとき、レートは$\sigma / \|x_0\|_2 \cdot \sqrt{n \log N / N}$で有界となり、ノイズと次元の影響が反映される。
• n \lesssim (\sigma^2 \log N / N)^{-1/6} \|x_0\|_2^{1/2}のとき、$\ell_1^n$-ボールに対してERMはミニマックス最適である。これは、ノイズが存在するが回復が可能となる領域を示している。