[論文レビュー] Solving Equations of Random Convex Functions via Anchored Regression

Sohail Bahmani, Justin Romberg|arXiv (Cornell University)|Feb 17, 2017

Sparse and Compressive Sensing Techniques参考文献 10被引用数 5

ひとこと要約

本稿では、自然パrameter空間における凸集合上での線形汎関数（正則化を含む）の最大化により、凸非線形性を有する非線形方程式系を解くための凸最適化手法「アンカーレギRESSION」を提案する。この手法は非凸性や補助変数を回避し、一般条件下でM ≈ N個の式のみを用いて真の解の回復を高確率で達成する。誤差バウンドはラデマッハ複雑度とノイズレベルに依存する。

ABSTRACT

We consider the question of estimating a solution to a system of equations that involve convex nonlinearities, a problem that is common in machine learning and signal processing. Because of these nonlinearities, conventional estimators based on empirical risk minimization generally involve solving a non-convex optimization program. We propose anchored regression, a new approach based on convex programming that amounts to maximizing a linear functional (perhaps augmented by a regularizer) over a convex set. The proposed convex program is formulated in the natural space of the problem, and avoids the introduction of auxiliary variables, making it computationally favorable. Working in the native space also provides great flexibility as structural priors (e.g., sparsity) can be seamlessly incorporated. For our analysis, we model the equations as being drawn from a fixed set according to a probability law. Our main results provide guarantees on the accuracy of the estimator in terms of the number of equations we are solving, the amount of noise present, a measure of statistical complexity of the random equations, and the geometry of the regularizer at the true solution. We also provide recipes for constructing the anchor vector (that determines the linear functional to maximize) directly from the observed data.

研究の動機と目的

• 機械学習や信号処理に共通する凸非線形性を有する非線形方程式系の解の推定という課題に対処すること。
• このような問題における従来の経験的リスク最小化の非凸性を回避するため、凸の代替手法を導入すること。
• 補助変数を一切用いずに、自然パrameter空間上で直接動作する計算効率の良い推定器を開発すること。
• 方程式の数、ノイズ、非線形関数の統計的複雑度の観点から、推定精度に関する理論的保証を提供すること。
• スパarsityなどの構造的事前知識（例：正則化による）を、元の空間そのものに自然に組み込むこと。

提案手法

• 観測された方程式と整合性を持つ凸集合上で、線形汎関数（正則化付き）を最大化する凸計画問題としてアンカーレギRESSIONを提案する。
• 元の問題のパラメータ空間に直接推定器を定式化し、持ち上げや補助変数の必要性を回避する。
• アンカーベクトルを真の関数の解における勾配のデータ駆動的推定として定義し、真の解の方向と整合させる。
• 真の解における上昇方向の集合のラデマッハ複雑度を用いて統計的複雑度を定量化し、誤差バウンドを導出する。
• ラデマッハ過程を用いた対称化および縮小の議論により、経験的リスクが期待値からどれほど逸脱するかを制御する。
• 推定解と真の解との間のユークリッド距離に関する高確率誤差バウンドを導出する。このバウンドはノイズ、方程式の数、正則化の幾何的性質に依存する。

実験結果

リサーチクエスチョン

• RQ1 非凸性や補助変数を導入せずに、凸非線形性を有する非線形方程式系を解くための凸最適化フレームワークを設計できるか？
• RQ2 非線形関数の性質と方程式の数にどのような条件が課されると、真の解の一貫した回復が保証されるか？
• RQ3 真の解における上昇方向の集合のラデマッハ複雑度は、この設定における推定誤差にどのように影響するか？
• RQ4 スパarsityのような構造的事前知識は、問題の凸性を損なわず、この解法フレームワークに自然に組み込めるか？
• RQ5 非線形性が一般の凸関数である場合、正確な回復に必要な最小の式の数は何か？

主な発見

• 提案されたアンカーレギRESSION推定器は、パrameter空間の次元Nと同等の数Mの式がある場合、真の解を高確率で回復する。
• 推定誤差は平均ノイズレベルに比例する項と正則化ペナルティに依存するが、勾配方向が上昇方向と一致する確率が高ければ、その逆数に比例して小さくなる。
• 誤差バウンドは、真の解における上昇方向の集合のラデマッハ複雑度に依存し、非線形関数の統計的複雑度を定量化する。
• 十分に多様な勾配を持つ一般の凸関数に対しては、M ≈ N個の式があれば解が回復され、近似的に最適な標本複雑度を達成する。
• アンカーベクトルは観測データから直接構築可能であり、完全にデータ駆動的かつ計算的に実行可能である。
• 誤差バウンドは方程式の数に有利にスケーリングされ、収束速度は正則化の幾何的性質とノイズレベルに依存する。