[論文レビュー] PAC-Bayes bounds for stable algorithms with instance-dependent priors

Omar Rivasplata, Emilio Parrado-Hernández+3 more|arXiv (Cornell University)|Jun 18, 2018

Machine Learning and Algorithms被引用数 7

ひとこと要約

本稿では、期待仮説出力の周囲に中心を置いたインスタンスに依存するガウス事前分布を用いて、安定なヒルバート空間値の学習アルゴリズムに対する新しいPAC-Bayes境界を提案する。SVMに対して、初めて非自明な安定性に基づくPAC-Bayes境界を導出し、特に正則化パラメータが小さい場合に、従来の安定性に基づく境界よりもタイトでより実用的な一般化推定を達成している。

ABSTRACT

PAC-Bayes bounds have been proposed to get risk estimates based on a training sample. In this paper the PAC-Bayes approach is combined with stability of the hypothesis learned by a Hilbert space valued algorithm. The PAC-Bayes setting is used with a Gaussian prior centered at the expected output. Thus a novelty of our paper is using priors defined in terms of the data-generating distribution. Our main result estimates the risk of the randomized algorithm in terms of the hypothesis stability coefficients. We also provide a new bound for the SVM classifier, which is compared to other known bounds experimentally. Ours appears to be the first stability-based bound that evaluates to non-trivial values.

研究の動機と目的

• 仮説クラスの複雑さに依存しない、アルゴリズムの安定性を活用するPAC-Bayes一般化境界の開発。
• 既存の安定性に基づく境界の限界、特に高正則化モデルにおいてしばしば自明（非自明でない）な推定を生じることへの対処。
• 提案された理論的枠組みをサポートベクターマシン（SVM）に適用し、確率的SVM分類器のための具体的かつ非自明な境界を導出すること。
• 提案された境界を、既存の安定性に基づく境界および標準PAC-Bayes境界と実験的に比較し、モデル選択におけるタイトさと実用性を評価すること。

提案手法

• ヒルバート空間値の学習アルゴリズムの期待出力の周囲に中心を置いたガウス事前分布を用いるPAC-Bayesフレームワークを採用し、事前分布をデータ生成分布に依存させる。
• 訓練データセットの微小な摂動に対する学習仮説の変化度を定量化する感度係数を用いて、仮説の安定性を定義する。
• ヒルバート空間値のアルゴリズム出力に濃度不等式を適用し、安定性係数に基づく一般化境界を導出する。
• 訓練データセットの摂動に対する重みベクトルの安定性を分析することで、SVMの具体的なPAC-Bayes境界を導出し、P@EW境界を獲得する。
• 確率的分類器におけるランダム化分散パラメータを最適化して境界推定値を最小化し、よりタイトな性能証明を得る。
• 実データセットを用いて、提案されたP@EW境界を、既存の境界（例：Liu et al. 2017, Bousquet & Elisseeff 2002）および標準PAC-Bayes境界と実験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 データに依存する事前分布を用いた確率的学習アルゴリズムに対して、安定かつ非自明なPAC-Bayes境界を構築できるか？
• RQ2 提案された境界は、実世界のデータセットにおいて、既存の安定性に基づく境界よりもタイトさと実用性に優れているか？
• RQ3 正則化パrameterを変化させた場合でも、SVMにおけるモデル選択の信頼できる性能証明として境界を用いることができるか？
• RQ4 C や σ などのハイパーパrameterに対する境界の感度は、他の既知の境界と比較してどう異なるか？
• RQ5 提案された境界は、SVMに対して初めての非自明な安定性に基づくPAC-Bayes境界であるか？

主な発見

• 提案されたP@EW境界は、他の安定性に基づく境界がほとんどのハイパーパrameter設定において自明であることが判明したため、SVMに対して初めての非自明な安定性に基づくPAC-Bayes境界である。
• P@EW境界は、BousquetとElisseeff（2002）およびLiuら（2017）の安定性に基づく境界よりも著しくタイトであることが示され、特に正則化パラメータCが小さい場合に顕著である。
• pimデータセットでは、P@EW境界がP@O境界を上回り、より低いテスト誤差を示すより良いハイパーパramータの組み合わせ（C, σ）を特定した。
• P@EW境界は他の安定性に基づく境界よりもCに依存が弱く、Cが増加しても依然として情報を持つ一方、従来の境界はCが大きくなると非自明になる。
• 実験結果から、P@EW境界は他の境界よりも実際のテスト誤差とより強く相関しており、特にrinデータセットでは、モデル選択における強力な実用性を示している。
• 境界はランダム化分散の選択に敏感であり、最適な性能はσ²の数値最適化による境界の最小化によって達成される。