[論文レビュー] Linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|Oct 1, 2010

Statistical Methods and Inference参考文献 25被引用数 10

ひとこと要約

この論文は、出力分布の指数モーメントを要件としない条件下で、期待値および確率的逸脱の両方において $d/n$ のオーダーの超過リスクバウンドを達成する線形回帰のPAC-ベイズ型縮小手続きを導入する。損失の差分の打ち切りとPAC-ベイズ分析を組み合わせることで、最小限の仮定のもとでロバストで高確率的なリスク制御を実現する。さらに、強い凸性を持つ損失関数への拡張も行われる。

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression under L^\infty constraints on the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log(n) factor, complex constants involving the conditioning of the Gram matrix of the covariates, kurtosis coefficients or some geometric quantity characterizing the relation between L^2 and L^\infty-balls and require some additional assumptions like exponential moments of the output. This work provides a PAC-Bayesian shrinkage procedure with a simple excess risk bound of order d/n holding in expectation and in deviations, under various assumptions. The common surprising factor of these results is their simplicity and the absence of exponential moment condition on the output distribution while achieving exponential deviations. The risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. We also show that these results can be generalized to other strongly convex loss functions.

研究の動機と目的

• 最小限の分布的仮定のもとで、最適な超過リスクバウンドを達成するロバストな線形回帰推定器の開発。
• 出力分布の指数モーメントを要件としない状況で、期待値および高確率的逸脱の両方において $d/n$ の超過リスクを達成すること。
• 損失差分の打ち切りとPAC-ベイズ分析を用いた、シンプルで統一的なリスク制御フレームワークの提供。
• 最小二乗法を超える強い凸性を持つ損失関数へのアプローチの一般化。
• グラム行列の条件数や尖度に依存する複雑な定数を排除しつつ、指数的逸脱バウンドを維持すること。

提案手法

• 一般化誤差の制御のために、経験的損失と真の損失の差分の打ち切りにPAC-ベイズ分析を適用する。
• 基底関数の線形結合におけるギブス事後分布に基づく縮小手続きを設計する。
• 損失差分の打ち切りにより、モーメント条件なしに重い尾を持つまたはその類縁の挙動を制御可能となる。
• PAC-ベイズ定理の新しい応用により、損失差分の打ち切りに特化したリスクバウンドを導出。これにより、部分ガウス分布や部分ワイブル分布の仮定に依存しない。
• 損失差分の打ち切りと発散制御のメカニズムを再設計することで、強い凸性を持つ損失関数への拡張を実現する。
• 最終的な推定器は確率的であり、PAC-ベイズリスクプロキシを最小化する係数の事後分布をとる。

実験結果

リサーチクエスチョン

• RQ1 出力分布の指数モーメント仮定なしに、PAC-ベイズ的手法が高確率的逸脱において $d/n$ の超過リスクを達成できるか。
• RQ2 損失の打ち切りは、線形回帰におけるロバスト性とリスクバウンドの簡素化にどのように寄与するか。
• RQ3 グラム行列の条件数に依存しないシンプルな定数を用いて、指数的逸脱バウンドを達成できるか。
• RQ4 最小二乗法を超える他の強い凸性を持つ損失関数に対しても、このフレームワークを一般化できるか。
• RQ5 縮小と確率的推定器は、最適でモデルフリーなリスク制御を達成するために果たす役割は何か。

主な発見

• 提案された推定器は、最小上限最適レートに一致する $d/n$ のオーダーの超過リスクバウンドを期待値で達成する。
• 高確率 $1 - \varepsilon$ において、超過リスクは $\kappa(d + \log(\varepsilon^{-1}))/n$ で抑えられ、$n$ にかかる対数因子がない。
• 出力分布に指数モーメントを要件としないが、依然として指数的逸脱を達成する。
• リスクバウンドは尖度、グラム行列の条件数、または $L^2$-$L^\infty$ 球の幾何的性質に依存しない。
• 他の強い凸性を持つ損失関数に対しても、同様のリスクバウンドを維持する形でアプローチを一般化可能である。
• 損失差分の打ち切りの使用により、標準的なPAC-ベイズ手法と比較して、より緊密な制御と分析の簡素化が可能となる。