[論文レビュー] Risk and parameter convergence of logistic regression

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Mar 20, 2018

Sparse and Compressive Sensing Techniques参考文献 16被引用数 79

ひとこと要約

本研究はロジスティック/指数損失に対する勾配降下の軌道を特徴づけ、最大マージン予測子と有界なオフセットによって定義される唯一の光線に収束し、リスクとパラメータの収束速度が明示的に示される。

ABSTRACT

Gradient descent, when applied to the task of logistic regression, outputs iterates which are biased to follow a unique ray defined by the data. The direction of this ray is the maximum margin predictor of a maximal linearly separable subset of the data; the gradient descent iterates converge to this ray in direction at the rate $\mathcal{O}(\ln\ln t / \ln t)$. The ray does not pass through the origin in general, and its offset is the bounded global optimum of the risk over the remaining data; gradient descent recovers this offset at a rate $\mathcal{O}((\ln t)^2 / \sqrt{t})$.

研究の動機と目的

• 一般データ下でのロジスティック回帰における勾配降下パスを特徴づける（非強凸性および非分離性の場合を含む）。
• 勾配降下の反復が収束する光線を同定する。それは最大マージン方向と補集合部分空間上の有界なオフセットから成る。
• リスクとパラメータ収束の明示的な収束速度を提供する（暗黙のバイアスと暗黙の正則化を含む）。
• データの線形に分離可能な部分と強凸部分での挙動を区別する。
• データの分離可能な成分と強凸成分を分離する分解フレームワークを開発し、それらが収束に寄与する方式を分析する。

提案手法

• 最大マージン予測子 ū を持つ最大の線形分離集合 Z を分離する貪欲な構成を用いて、データ行列 A をサブスペース S および S⊥ に分解する。
• 勾配降下の反復 wj は S⊥ 上で方向として ū に収束し、S への射影は S 上で一意の v̄ に収束することを示す。光線 {v̄ + r ū : r ≥ 0} を形式化する。
• 改良された滑らかさ議論と比較点 z = v̄ + (ln t)/γ · ū を用いてリスク収束境界を確立し、R(wt) − infw R(w) = O(1/t) または O((ln t)^2 / Σ ηj)（ステップサイズに依存）を得る。
• Fenchel-Young/duality フレームワークを用い、g(Aw) = ln(L(Aw)) あるいは関連する凸代替関数で方向成分を下界化し、暗黙のバイアスと正則化の結果を導出する。
• S 上での v̄ へのパラメータ収束と S⊥ 上での ū への収束を分離して証明する。S の強凸性を利用し、局所的な滑らかさを捉えるために R の対数 ln R を分析する（極端な平坦化を含む）。
• A_c（分離可能）と A_S（強凸）の間の斜交項を、慎重な射影と境界を用いて扱い、||w_t|| の成長境界についてパーセプトロンに触発された議論を含める。

実験結果

リサーチクエスチョン

• RQ1 一般データを用いたロジスティック回帰の勾配降下パスを支配する暗黙の幾何構造は何か？
• RQ2 GDの反復は、強凸なサブ空間の安定したオフセットと、分離可能なサブ空間における最大マージン分離器に沿った方向とどう分解されるか？
• RQ3 経験的リスクとパラメータベクトルの収束速度は何か、暗黙のバイアスと正則化効果を含めて？
• RQ4 データが分離可能成分と強凸成分に分割されると、収束光線の存在と特徴付けにどのように影響するか？
• RQ5 異なるステップサイズの設定下で、反復の成長を境界づけ、リスクと方向の両方の収束を定量化できるか？

主な発見

• 勾配降下は、唯一の光線 {v̄ + r ū : r ≥ 0} に偏って従う。ū は線形に分離可能な部分集合の最大マージン予測子、v̄ は残りのデータ上の最適解。
• ηj が適切に選ばれると、経験的リスクはステップサイズに応じて O(1/t) または O((ln t)^2 / √t) の速度で収束し、v̄ と γ（分離可能マージン）を含む厳密な境界を与える。
• 方向 wj/|wj| は S⊥ で ū に収束し、射影 ΠS wj は S で v̄ に収束する。これにより、勾配経路に沿った暗黙のバイアスと暗黙の正則化が確立される。
• データの S と S⊥ への分解は一意であり、S が強凸挙動を、S⊥ が線形分離挙動を捉える。データ間の射影が収束速度と漸近挙動を決定する。
• LG/EXP 損失解析は、類似の定性的収束をもたらし、γ、|v̄|、および ln t の項に依存する明示的な定数を含む。
• 分離可能データと一般的な（混合）データ設定の双方で収束結果が成立し、A_c が非空であり、A_S が有界集合上で強凸である場合も含む。