[論文レビュー] The Second Order Linear Model

Ming Lin, Shuang Qiu+2 more|arXiv (Cornell University)|Mar 2, 2017

Stochastic Gradient Optimization Techniques参考文献 13被引用数 3

ひとこと要約

本稿では、$O(k^2d)$のサンプリング複雑度を有する勾配フリーで非凸な交互反復法、すなわちモーメント推定系列（MES）法を提案する。この手法は、歪んだサブガウス分布に起因する勾配バイアスを排除することで、非MIP分布においても、勾配降下法を上回る収束速度とロバストネスを実現し、グローバルで線形収束を達成する。

ABSTRACT

We study a fundamental class of regression models called the second order linear model (SLM). The SLM extends the linear model to high order functional space and has attracted considerable research interest recently. Yet how to efficiently learn the SLM under full generality using nonconvex solver still remains an open question due to several fundamental limitations of the conventional gradient descent learning framework. In this study, we try to attack this problem from a gradient-free approach which we call the moment-estimation-sequence (MES) method. We show that the conventional gradient descent heuristic is biased by the skewness of the distribution therefore is no longer the best practice of learning the SLM. Based on the MES framework, we design a nonconvex alternating iteration process to train a $d$-dimension rank-$k$ SLM within $O(kd)$ memory and one-pass of the dataset. The proposed method converges globally and linearly, achieves $ε$ recovery error after retrieving $O[k^{2}d\cdot\mathrm{polylog}(kd/ε)]$ samples. Furthermore, our theoretical analysis reveals that not all SLMs can be learned on every sub-gaussian distribution. When the instances are sampled from a so-called $τ$-MIP distribution, the SLM can be learned by $O(p/τ^{2})$ samples where $p$ and $τ$ are positive constants depending on the skewness and kurtosis of the distribution. For non-MIP distribution, an addition diagonal-free oracle is necessary and sufficient to guarantee the learnability of the SLM. Numerical simulations verify the sharpness of our bounds on the sampling complexity and the linear convergence rate of our algorithm.

研究の動機と目的

• 一般のサブガウス分布下での第二階線形モデル（SLM）の効率的で証明可能な非凸学習の未解決問題に対処すること。
• 勾配降下法の根本的限界、特に高次モーメントに起因する勾配バイアスを克服すること。
• 低ランクSLMのためのメモリ効率的でワンパス処理可能なアルゴリズムを設計し、$O(kd)$のメモリと$O(k^2d)$のサンプリング複雑度を達成すること。
• SLMが学習可能となる理論的条件を確立し、$\tau$-MIPと非MIP分布の区別を行うこと。
• 非MIP分布において、対角成分を含まないオракルが学習可能性に必要かつ十分であることを示すこと。

提案手法

• 勾配バイアスを回避するために、モーメント推定器の系列を構築する勾配フリーなフレームワーク、すなわちモーメント推定系列（MES）を提案する。
• 第一および第二階の係数をブロック最適化の形で逐次更新する非凸な交互反復プロセスを設計する。
• ワンパスのデータストリーム処理戦略を採用することで、$O(kd)$のメモリ使用量を維持し、オンライン学習能力を実現する。
• サブガウス分布のハンソン＝ハーウィット不等式および集中不等式を用いて、モーメント推定器の収束性を分析する。
• 一般のサブガウス分布における学習可能性を特徴付けるために、$\tau$-MIP（モーメント可逆性条件）を導入する。
• 非MIP分布における第二階係数行列$M^*$の同定可能性を保証するため、対角成分を含まないオーケストラルを統合する。

実験結果

リサーチクエスチョン

• RQ1 一般のサブガウス分布下で、非凸的かつ勾配フリーなアルゴリズムが第二階線形モデルの学習においてグローバルで線形収束を達成できるか？
• RQ2 なぜ従来の勾配降下法は、ベルヌーイ分布や切断ガウス分布のような歪んだサブガウス分布においてSLMの学習に失敗するのか？
• RQ3 ランク-$k$のSLMを回復するために必要な最小サンプリング複雑度は何か？また、歪度や尖度といった分布の性質にどのように依存するか？
• RQ4 どのような分布的条件下でSLMが同定可能となり、また追加の対角成分を含まないオーケストラルが必要となるか？
• RQ5 勾配降下法のヒューリスティックが失敗する状況でも、提案手法が$O(k^2d)$のサンプリング複雑度と線形収束率を達成できるか？

主な発見

• MES法は、$\epsilon$回復誤差に到達するための$O(k^2d \cdot \mathrm{polylog}(kd/\epsilon))$サンプルでグローバルかつ線形収束を達成する。
• 歪度が大きい分布、たとえば切断ガウス分布やベルヌーイ分布において、勾配降下法よりも著しく高速に収束する。
• $a=0$の切断ガウス分布（高歪度）では勾長降下法はグローバル収束に失敗するが、MESはグローバル収束を維持する。
• $\tau$-MIP分布では、$O(p/\tau^2)$サンプルでSLMが学習可能であり、ここで$p$は歪度と尖度に依存する。
• 非MIP分布では、対角成分を含まないオーケストラルが、SLMの同定可能性と学習可能性を保証するために必要かつ十分である。
• 数値シミュレーションにより、理論的サンプリング複雑度の境界の鋭さと、MESの線形収束レートの有効性が確認された。