[論文レビュー] Dimension-free PAC-Bayesian bounds for matrices, vectors, and linear least squares regression

Olivier Catoni, Ilaria Giulini|arXiv (Cornell University)|Dec 7, 2017

Sparse and Compressive Sensing Techniques参考文献 9被引用数 44

ひとこと要約

本稿は、弱いモーメント仮定の下で、ランダムベクトルおよび行列の平均を推定する次元に依存しないPAC-Bayesian境界を構築し、高次元および重たい尾を持つ設定でも頑健な推定を可能にする。PAC-Bayesian正則化を用いて、次元に依存しないガウス型の直径を持つ信頼領域を達成する部分ガウス型推定量を導入し、線形最小二乗回帰およびグラム行列推定にこのフレームワークを適用することで、複雑さの制御を改善する。

ABSTRACT

This paper is focused on dimension-free PAC-Bayesian bounds, under weak polynomial moment assumptions, allowing for heavy tailed sample distributions. It covers the estimation of the mean of a vector or a matrix, with applications to least squares linear regression. Special efforts are devoted to the estimation of Gram matrices, due to their prominent role in high-dimension data analysis.

研究の動機と目的

• 弱い多項式モーメント仮定の下で、次元に依存しないPAC-Bayesian境界を、強い部分ガウス型または尖度型の条件を避けて開発すること。
• 次元に依存しないガウス型の直径を持つ信頼領域を達成する部分ガウス型推定量を、非部分ガウス型のランダムベクトルの平均に対して構築すること。
• 高次元データ解析における中心的対象であるグラム行列の推定に、最小限の分布的仮定でこのフレームワークを拡張すること。
• 線形最小二乗回帰に境界を適用し、モデルの複雑さに依存する依存性を改善した非漸近的誤差制御を提供すること。
• 信頼水準パラメータδの影響を低減し、log(δ⁻¹)をグローバルな複雑さ要因ではなく、方向の分散にのみ乗じること。

提案手法

• Kullback-Leibler発散を用いたPAC-Bayesian不等式を用い、測度のパラメータ空間全体にわたる一様な乖離境界を導出する。
• データとの内積に関連する損失関数f(θ, X)を定義することで、ベクトルおよび行列の平均推定にフレームワークを適用し、集中制御を可能にする。
• 事前分布μと事後分布ρに基づく正則化推定量を導入し、経験的リスクとKL発散のトレードオフを最小化する。
• ガウス型集中と一致する直径を持つ凸集合としての平均の信頼領域を導出する。有限分散仮定のもとでも成立する。
• 行列を高次元空間におけるベクトルとみなすことにより、グラム行列推定に同じPAC-Bayesian機械を適用する。
• 回帰における推定誤差を制御するため、制限固有値条件（σ*）を用い、モデルの不適合に対しても安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 有限分散仮定のもとで、部分ガウス型または尖度型の条件を一切課さずに、次元に依存しないPAC-Bayesian境界を、ベクトルおよび行列の平均推定に対して導出可能か？
• RQ2 非部分ガウス型のランダムベクトルの平均に対して、次元に依存しないガウス型の信頼領域を達成する部分ガウス型推定量をどのように構築できるか？
• RQ3 高確率境界におけるlog(δ⁻¹)項の最適な制御法は何か？特に、それが複雑さに比例するのではなく、方向の分散に比例するようにするには？
• RQ4 提案されたフレームワークを、最小限の分布的仮定のもとで、高次元データ解析におけるグラム行列推定にどのように適用できるか？
• RQ5 この手法により、重たい尾を持つノイズやモデルの不適合に対しても頑健な、非漸近的誤差境界を線形最小二乗回帰に対して得られるか？

主な発見

• 提案された推定量は、有限分散仮定のもとでも、ガウス型集中不等式と一致する信頼領域の直径を達成し、明示的な次元依存性がない。
• ランダムベクトルの平均に対する境界には、log(δ⁻¹)がグローバルな複雑さ要因ではなく、方向の分散にのみ乗じられる。これは先行研究を改善する。
• グラム行列推定において、弱いモーメント仮定のもとで次元に依存しない境界を提供し、高次元解析における頑健性を実現する。
• 線形最小二乗回帰において、誤差境界が高確率でO((εA + η)² / (λ + σ*))のオーダーで達成され、σ*は制限固有値パラメータである。
• ネストされた部分空間を用いたモデル選択が可能であり、最終的な推定量は真のモデルの制限固有値にのみ依存する誤差境界を達成する。
• 特に重たい尾を持つ設定では、中央値の平均や他の推定量が計算的に非現実的となる場合でも、定数要因の面および頑健性の面で先行手法を上回る。