[論文レビュー] Risk bounds in linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|Feb 10, 2009

Control Systems and Identification参考文献 17被引用数 7

ひとこと要約

本稿は、損失差の打ち切りを用いた線形回帰のPACベイジアンリスクバウンドを導入し、出力分布の指数モーメントを仮定しないまま、最適な $d/n$ 収束率を達成する。局所化されたPACベイジアン不等式と打ち切りを活用することで、ラッジおよび通常最小二乗推定器の鋭い超過リスクバウンドを、重い尾を持つノイズ下でも導出する。指数的偏差保証が得られる。

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression, and variants of this problem including constraints on the parameters of the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log n factor, and require some additional assumptions like uniform boundedness of the d-dimensional input representation and exponential moments of the output. This work provides new risk bounds for the ridge estimator and the ordinary least squares estimator, and their variants. It also provides shrinkage procedures with convergence rate d/n (i.e., without the logarithmic factor) in expectation and in deviations, under various assumptions. The key common surprising factor of these results is the absence of exponential moment condition on the output distribution while achieving exponential deviations. All risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. Finally, we show that some of these results are not particular to the least squares loss, but can be generalized to similar strongly convex loss functions.

研究の動機と目的

• 出力分布の指数モーメントや有界な共変量を仮定する必要があるような線形回帰のリスクバウンドにおけるギャップを埋める。
• 重い尾を持つノイズ下でも、期待値および偏差において最適な $d/n$ 収束率を達成する推定器を開発する。
• PACベイジアン分析を用いて、最小限のモーメント条件の下でラッジおよび通常最小二乗推定器の理論的保証を提供する。
• 最小二乗法を超えて強い凸性を持つ損失関数へ一般化し、ロバスト回帰への応用性を高める。
• 損失差の打ち切りが、サブガウス型の尾挙動を実現可能にし、サブガウス型または有界な出力分布を仮定しない場合でも有効であることを示す。

提案手法

• 標準的な損失を打ち切りバージョンに置き換えることで、尾の挙動を制御する。これにより、損失差の打ち切りを用いたPACベイジアン理論を適用する。
• リスクバウンドにおける $\log n$ 要因を排除できる局所化されたPACベイジアン不等式を導入し、$d/n$ 確率を達成する。
• 打ち切り集合上での最大損失を最小化するように設計されたミニマックス打ち切り推定器を導入し、影響力のある外れ値を除去する。
• 推定器のギブズ事後分布を用いてバウンドを導出し、指数モーメントの仮定なしに集中性を保証する。
• 出力分布が指数モーメントを持たない場合でも、サブ指数的尾挙動を誘発する新しい打ち切り機構を確立する。
• 損失関数の種類に適応可能な打ち切りおよび局所化フレームワークを用いて、強い凸性を持つ損失関数へ一般化する。

実験結果

リサーチクエスチョン

• RQ1 出力分布の指数モーメントを仮定しないまま、線形回帰のリスクバウンドを $d/n$ 確率で達成できるか？
• RQ2 PACベイジアン分析を、回帰において重い尾または無限大の出力分布を扱えるようにどのように適合できるか？
• RQ3 指数モーメントの仮定なしに、サブガウス型の偏差バウンドを達成するために、打ち切りが果たす役割は何か？
• RQ4 標準的なリスクバウンドにおける $\log n$ 要因を、ラッジおよびOLS推定器の超過リスクにおいて排除できるか？
• RQ5 提案された打ち切りおよび局所化フレームワークは、最小二乗法を超える強い凸性を持つ損失関数へどの程度まで拡張可能か？

主な発見

• 本稿は、出力分布の指数モーメントを仮定しないまま、期待値および偏差において $d/n$ のオーダーの超過リスクバウンドを達成する。
• シミュレーションにおいて、ミニマックス打ち切り推定器は通常最小二乗推定器を上回り、特に重い尾を持つノイズ下では、一部の設定で最大35％低いリスクを示す。
• ガウスノイズ下では、$n=2000, d=2$ のとき、ミニマックス打ち切り推定器の期待超過リスクは $0.112 \pm 0.007$ に達し、理論的 $d/n$ 確率と一致する。
• 打ち切りによって誘発されるサブ指数的尾挙動のおかげで、指数モーメントの条件なしに指数的偏差保証が達成される。
• 理論的分析により、局所化されたPACベイジアン不等式を用いることで、標準的なリスクバウンドにおける $\log n$ 要因を排除できることが示される。
• フレームワークは他の強い凸性を持つ損失関数へ一般化可能であり、最小二乗回帰を超えた広範な応用性を示している。