[論文レビュー] Max-Affine Regression: Provable, Tractable, and Near-Optimal Statistical Estimation

Avishek Ghosh, Ashwin Pananjady+2 more|arXiv (Cornell University)|Jun 21, 2019

Sparse and Compressive Sensing Techniques参考文献 82被引用数 12

ひとこと要約

本稿は、最大アフィン回帰（max-affine regression）のための、証明可能に収束する交互最小化アルゴリズムを提案する。このモデルは、回帰関数を $k$ 個のアフィン関数の最大値として表現することで、線形回帰と位相再構成を一般化する。本手法は、ランダム設計のもとで高次元設定において、近似的にパrametricで、ミニマックス最適な推定レート（対数要因を除いて）を達成する。これは、新規のスペクトル的およびランダム探索型初期化スキームを活用することで実現される。

ABSTRACT

Max-affine regression refers to a model where the unknown regression function is modeled as a maximum of $k$ unknown affine functions for a fixed $k \geq 1$. This generalizes linear regression and (real) phase retrieval, and is closely related to convex regression. Working within a non-asymptotic framework, we study this problem in the high-dimensional setting assuming that $k$ is a fixed constant, and focus on estimation of the unknown coefficients of the affine functions underlying the model. We analyze a natural alternating minimization (AM) algorithm for the non-convex least squares objective when the design is random. We show that the AM algorithm, when initialized suitably, converges with high probability and at a geometric rate to a small ball around the optimal coefficients. In order to initialize the algorithm, we propose and analyze a combination of a spectral method and a random search scheme in a low-dimensional space, which may be of independent interest. The final rate that we obtain is near-parametric and minimax optimal (up to a poly-logarithmic factor) as a function of the dimension, sample size, and noise variance. In that sense, our approach should be viewed as a direct and implementable method of enforcing regularization to alleviate the curse of dimensionality in problems of the convex regression type. As a by-product of our analysis, we also obtain guarantees on a classical algorithm for the phase retrieval problem under considerably weaker assumptions on the design distribution than was previously known. Numerical experiments illustrate the sharpness of our bounds in the various problem parameters.

研究の動機と目的

• 最大アフィン回帰におけるパラメータ推定のための、計算的に効率的かつ統計的に最適な手法の開発。このモデルは、線形回帰と位相再構成を一般化する。
• 固定された $k$ に対して $k$ 個のアフィン関数の最大値として関数クラスを制限することにより、凸回帰における次元の呪いを軽減すること。
• 交互最小化アルゴリズムが真のパラメータの小さな近傍に、高確率で幾何的収束することの確立。
• 低次元空間におけるスペクトル的手法とランダムサーチを組み合わせた、独立に価値ある新規な初期化戦略の提供。

提案手法

• 本稿は、$k$ 個のアフィン関数のパラメータ $\theta_j^*$ と $b_j^*$ を推定する非凸最小二乗問題として最大アフィン回帰を定式化する。
• 他のパラメータを固定した上で、係数ベクトル $\theta_j$ と切片 $b_j$ に対して交互に最適化を行う、交互最小化（AM）アルゴリズムを提案する。
• 低次元部分空間におけるスペクトル法と、候補解のランダムサーチを組み合わせた、良好な初期点を得るための新規な初期化スキームを導入する。
• 理論的分析では、ドゥードリーのエントロピー積分を用いて、メトリックエントロピーが制御された関数クラス上のサブガウス過程の上界を制御する。
• ランダム設計の仮定のもとで、幾何的収束レートが高確率で成立することを確立する。
• 推定誤差 $\delta$ を含む重要な不等式を導出し、統計的誤差と近似誤差のバランスを取ることで、最終的なレートを導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元かつランダム設計のもとで、最大アフィン回帰において、交互最小化アルゴリズムが真のパラメータに幾何的収束するか。
• RQ2 固定された $k$ で $d$ が増加する際、最大アフィン回帰における推定の最適統計的レートは何か。
• RQ3 凸性の欠如を考慮すると、非凸的最大アフィン回帰に対して、証明可能に効果的な初期化をどのように構築できるか。
• RQ4 提案手法が、このモデルクラスにおいてミニマックス最適性（対数要因を除いて）を達成するか。
• RQ5 解析を拡張することで、より弱い設計仮定のもとで位相再構成に対するより強い保証を得られるか。

主な発見

• 適切に初期化された場合、交互最小化アルゴリズムは、真のパラメータの小さな近傍に高確率で幾何的収束する。
• スペクトル法とランダムサーチによる初期化は、最適値の定数倍以内の初期化誤差を達成し、高速収束を可能にする。
• 最終的な推定誤差レートは $O\left(\frac{kd(\log k)(\log n)}{n} + \frac{\|\varrho\|^2}{n}\right)$ であり、$n$ に関して多項式対数因子を除いてミニマックス最適である。
• 本手法は近似的にパラメトリックなレートを達成し、構造化された関数クラスを導入することで、凸回帰における次元の呪いを効果的に軽減する。
• 従来の結果よりもはるかに弱い設計分布の仮定のもとで、位相再構成に対する改善された保証を得られる。
• 数値実験により、さまざまな標本サイズ、次元、ノイズレベルにおいて理論的境界が鋭いことが確認された。