[論文レビュー] Tightening the Sample Complexity of Empirical Risk Minimization via Preconditioned Stability.

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jan 15, 2016

Advanced Bandit Algorithms Research参考文献 22被引用数 4

ひとこと要約

本稿では、一般化線形モデル（線形回帰およびロジスティック回帰を含む）における経験的リスク最小化（ERM）のサンプル複雑度の境界を厳密化する、新しい安定性概念である事前条件付き安定性を導入する。本稿は、線形回帰におけるERMが最適なサンプル複雑度を達成することを証明し、これらの設定における一般化の理論的基盤をより緊密にしている。

ABSTRACT

We tighten the sample complexity of empirical risk minimization (ERM) associated with a class of generalized linear models that include linear and logistic regression. In particular, we conclude that ERM attains the optimal sample complexity for linear regression. Our analysis relies on a new notion of stability, called preconditioned stability, which may be of independent interest.

研究の動機と目的

• 一般化線形モデルにおける経験的リスク最小化（ERM）のサンプル複雑度に関する理論的理解を向上させること。
• 線形回帰およびロジスティック回帰におけるERMのタイトなサンプル複雑度境界の欠落を埋めること。
• 新しい安定性フレームワークを用いて、線形回帰におけるERMが最適なサンプル複雑度を達成することを確立すること。
• 広範な理論的影響を有する可能性がある、新しい安定性概念である事前条件付き安定性の導入と分析すること。

提案手法

• 最適化の多様性をよりよく捉えるために、問題固有の事前条件付けを組み込んだ新しい安定性概念、すなわち事前条件付き安定性を提案する。
• 一般化線形モデルにおけるERMの一般化誤差を分析するために、事前条件付き安定性を適用する。
• 損失関数の曲率と事前条件付き安定性の相乗効果を活用して、サンプル複雑度の境界を導出する。
• 線形回帰の場合、導出された境界が情報理論的下界と一致することを示し、最適性を示している。
• 統計的学習理論と行列解析の道具を用いて、安定性とサンプル複雑度の間の関係を形式化する。
• 事前条件付き安定性が、ERMの文脈において、標準的な一様安定性よりもより緊密な解析を提供することを確立する。

実験結果

リサーチクエスチョン

• RQ1 一般化線形モデルにおけるERMのサンプル複雑度は、既存の一様安定性に基づく境界を上回る厳密さに到達可能か？
• RQ2 事前条件付き安定性は、古典的安定性概念と比較して、一般化誤差の分析をより洗練された形で行えるか？
• RQ3 提案されたフレームワーク下で、線形回帰におけるERMのサンプル複雑度は最適か？
• RQ4 この新しい安定性概念は、線形モデルを越えて、他の一般化線形モデルのクラスにも応用可能か？

主な発見

• 本稿は、提案された事前条件付き安定性フレームワークを用いて、線形回帰におけるERMが最適なサンプル複雑度を達成することを確立した。
• 事前条件付き安定性は、一般化線形モデルにおけるERMに対して、標準的一様安定性よりもタイトな一般化境界を提供する。
• 分析により、線形回帰におけるERMのサンプル複雑度が情報理論的下界と一致することが確認された。
• 提案された安定性概念は、サンプル複雑度への応用を超えて、独立した理論的関心を有することが示された。