[論文レビュー] Robust linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|Sep 30, 2010

Statistical Methods and Inference参考文献 15被引用数 12

ひとこと要約

この論文は、出力の指数モーメント条件を必要とせずに、期待値および確率的偏差の両方で d/n のオーダーの超過リスクを達成する、PAC-ベイジアン縮小手法を導入する。損失差の打ち切りとPAC-ベイジアン解析を組み合わせることで、最小限の仮定の下で単純かつ鋭いバウンドを提供し、最小二乗以外の強い凸損失関数へも一般化可能である。

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression under $L^\infty$ constraints on the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log(n) factor, complex constants involving the conditioning of the Gram matrix of the covariates, kurtosis coefficients or some geometric quantity characterizing the relation between $L^2$ and $L^\infty$-balls and require some additional assumptions like exponential moments of the output. This work provides a PAC-Bayesian shrinkage procedure with a simple excess risk bound of order d/n holding in expectation and in deviations, under various assumptions. The common surprising factor of these results is their simplicity and the absence of exponential moment condition on the output distribution while achieving exponential deviations. The risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. We also show that these results can be generalized to other strongly convex loss functions.

研究の動機と目的

• 弱い分布的仮定の下でも低い超過リスクを維持するロバストな線形回帰手法の開発。
• 先行研究で一般的に用いられる出力分布の指数モーメント条件を排除すること。
• 期待値および確率的偏差の両方で、d/n のオーダーの超過リスクバウンドを達成すること。複雑な定数や条件付けの仮定を必要としない。
• 最小二乗以外の強い凸損失関数に対しても、このアプローチを一般化すること。

提案手法

• 損失差の打ち切りとPAC-ベイジアン解析を組み合わせることで、尾の挙動を制御するPAC-ベイジアンフレームワークを用いる。
• L∞制約の下でのd個の基底関数の線形結合に対する正則化手順を導入する。
• 重たい尾を持つ、または重たい尾に類似した出力分布に対してもロバストなリスクバウンドを得るために、損失差を打ち切る。
• グラム行列の条件数や尖度係数に依存しない。
• PAC-ベイジアン不等式を用いて理論的バウンドを導出し、期待値および確率的偏差の両方を制御する。
• 適切な打ち切りと損失差解析を適応させることで、任意の強い凸損失関数へ一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 PAC-ベイジアンアプローチは、出力に指数モーメント条件を必要とせずにd/nの超過リスクを達成できるか？
• RQ2 弱いモーメント仮定の下で、損失の打ち切りは線形回帰のロバスト性をどのように向上させるか？
• RQ3 L∞制約が、最小限の仮定の下で鋭いリスクバウンドを可能にする役割は何か？
• RQ4 このフレームワークは、最小二乗以外の強い凸損失関数へも拡張可能か？
• RQ5 複雑な定数や条件付けの仮定なしに、指数的確率的偏差バウンドをどのように達成するか？

主な発見

• 提案手法は、最小限の仮定の下で、期待値においてd/nのオーダーの超過リスクを達成する。
• 出力に指数モーメント条件がなくても、確率的偏差において指数的尾部制御が保証される。
• グラム行列の条件数や尖度係数を含む複雑な定数を避ける。
• 適切な打ち切りとPAC-ベイジアン解析により、任意の強い凸損失関数へ一般化可能である。
• 主な革新点は損失差の打ち切りであり、弱い分布的仮定の下でロバスト性と鋭いバウンドを両立可能にする。
• 補助的な幾何的またはモーメントに基づく量を一切必要とせず、シンプルで透明な結果が得られる。