[論文レビュー] Algorithmic stability and hypothesis complexity

Tongliang Liu, Gábor Lugosi+2 more|arXiv (Cornell University)|Feb 28, 2017

Stochastic Gradient Optimization Techniques参考文献 15被引用数 34

ひとこと要約

本稿では、学習アルゴリズムが出力する仮説の変化をバナッハ空間における関数の文脈で測る、アルゴリズム的安定性の新しい概念「引数安定性」を導入する。バナッハ空間におけるマルティングルの不等式を活用することで、経験的リスク最小化や確率的勾配降下法のような安定なアルゴリズムについて、高確率での一般化バウンドを導出し、特にレーデマー複雑度が急速に減少するヒルバート空間では $O(1/n)$ の収束レートを達成する。

ABSTRACT

We introduce a notion of algorithmic stability of learning algorithms---that we term \emph{argument stability}---that captures stability of the hypothesis output by the learning algorithm in the normed space of functions from which hypotheses are selected. The main result of the paper bounds the generalization error of any learning algorithm in terms of its argument stability. The bounds are based on martingale inequalities in the Banach space to which the hypotheses belong. We apply the general bounds to bound the performance of some learning algorithms based on empirical risk minimization and stochastic gradient descent.

研究の動機と目的

• 仮説の出力の変化を測るという点で、単に損失関数の変化にのみ注目する従来の安定性とは異なり、仮説出力そのものの変化を定量化する新しいアルゴリズム的安定性の概念—引数安定性—を形式化すること。
• 関数解析およびバナッハ空間における確率論の道具を用いて、その引数安定性に基づく学習アルゴリズムの一般化誤差バウンドを確立すること。
• 安定な学習アルゴリズムが生成する可能性の高い仮説の集合としてのアルゴリズム的仮説クラスを定義し、これにより複雑度に基づくより緊密な一般化バウンドを可能にすること。
• ヒルバート空間において、アルゴリズム的仮説クラスのレーデマー複雑度が $O(1/n)$ のレートで収束することを示すこと。

提案手法

• 学習アルゴリズムが1つの例の異なるデータセットに対して出力する仮説間のノルム差として、引数安定性を定義する。
• 仮説を可分なバナッハ空間の要素としてモデル化し、バナッハ空間とその双対空間との双対性に基づく線形予測を採用する。
• バナッハ空間におけるマルティングルの不等式を適用し、仮説の期待値からの逸脱をバウンドすることで、高確率での一般化バウンドを可能にする。
• 学習アルゴリズムが出力する仮説の集合としてのアルゴリズム的仮説クラスを定義し、特に $\mathbb{E}[h_S]$ の周囲に集中する仮説に注目し、その複雑度を分析する。
• アルゴリズム的仮説クラスのレーデマー複雑度を用いて一般化バウンドを導出し、ヒルバート空間では $O(1/n)$ の収束を示す。
• 経験的リスク最小化および確率的勾配降下法にこれらのバウンドを特化し、損失関数のリプシッツ連続性および滑らかさ条件の下で引数安定性が成立することを証明する。

実験結果

リサーチクエスチョン

• RQ1 損失関数の変化だけでなく、仮説そのものの変化に基づく安定性の概念が、より緊密な一般化バウンドをもたらすか？
• RQ2 仮説空間の幾何構造—特にそのマルティングル型—は、安定な学習アルゴリズムの一般化誤差にどのように影響するか？
• RQ3 ヒルバート空間における引数安定な学習アルゴリズムについて、アルゴリズム的仮説クラスのレーデマー複雑度の収束レートは何か？
• RQ4 損失関数にリプシッツ連続性および滑らかさの仮定を置いた場合に、引数安定性を用いて確率的勾配降下法の高確率一般化バウンドを導出できるか？
• RQ5 出力仮説の集中性に基づき定義されるアルゴリズム的仮説クラスは、標準的な複雑度測度に比べて、どのようにより速い収束レートを実現可能にするか？

主な発見

• 任意の引数安定な学習アルゴリズムについて、バナッハ空間におけるマルティングルの不等式を用いることで、高確率での一般化誤差バウンドが得られる。
• 引数安定な学習アルゴリズムに対しては、ヒルバート空間において、アルゴリズム的仮説クラスのレーデマー複雑度が $O(1/n)$ のレートで収束する。
• ℓ₂正則化を施した経験的リスク最小化は引数安定性を満たし、$O(1/n)$ の高確率一般化バウンドが得られる。
• L-リプシッツ連続かつ s-滑らかな損失関数をもつ確率的勾配降下法は引数安定性を示し、$\|h_T - h_T^i\| \leq \frac{1+1/sc}{n-1}(2cBL)^{1/(sc+1)}T^{sc/(sc+1)}$ を満たす。
• γ-強凸かつ L-リプシッツ連続な損失関数をもつ投影付き確率的勾配降下法は引数安定性を満たし、$\|h_T - h_T^i\| \leq \frac{2BL}{\gamma n}$ を満たし、一般化誤差が $O(1/n)$ の速さで収束する。
• 提案された枠組みは、期待値でのバウンドしか保証しない先行研究とは異なり、高確率バウンドを提供するため、実用的信頼性が向上する。