[論文レビュー] A Strongly Quasiconvex PAC-Bayesian Bound

Niklas Thiemann, Christian Igel+2 more|arXiv (Cornell University)|Aug 19, 2016

Machine Learning and Algorithms参考文献 21被引用数 20

ひとこと要約

本稿では、トレードオフパラメータλに関して強く準凸である新しいPAC-Bayesian境界を導入し、交互最小化手順のグローバル収束を可能にした。この手法は、小さなサブサンプルで訓練された弱学習器を用いてデータに依存する有限の仮説空間を構築し、交差検証と同等の一般化性能を著しく低い計算コストで達成するとともに、高い確率でのタイトな境界を維持する。

ABSTRACT

We propose a new PAC-Bayesian bound and a way of constructing a hypothesis space, so that the bound is convex in the posterior distribution and also convex in a trade-off parameter between empirical performance of the posterior distribution and its complexity. The complexity is measured by the Kullback-Leibler divergence to a prior. We derive an alternating procedure for minimizing the bound. We show that the bound can be rewritten as a one-dimensional function of the trade-off parameter and provide sufficient conditions under which the function has a single global minimum. When the conditions are satisfied the alternating minimization is guaranteed to converge to the global minimum of the bound. We provide experimental results demonstrating that rigorous minimization of the bound is competitive with cross-validation in tuning the trade-off between complexity and empirical performance. In all our experiments the trade-off turned to be quasiconvex even when the sufficient conditions were violated.

研究の動機と目的

• 事前分布へのKLダイバージェンスと経験誤差のトレードオフを表すパラメータλに関して、事後分布と両方で凸となるPAC-Bayesian境界の開発。
• PAC-Bayesian学習における複雑さと経験的性能のトレードオフを、交差検証に依存せずにチューニング可能にする。
• 小さなサブサンプルを用いて訓練された弱学習器を用いて、計算の tractability を保ちつつ凸性と収束保証を維持する有限のデータ依存仮説空間の構築。
• 境界のλ依存性が強く準凸となる理論的条件の特定。これにより最小化手順のグローバル収束が保証される。
• 理論的条件が満たされない場合でも、境界が実際にはタイトで準凸のままであることを実験的に検証し、交差検証と同等の性能を示す。

提案手法

• PAC-Bayes-KL不等式の緩和版であるPAC-Bayes-λ境界を提案。これは事後分布ρとトレードオフパラメータλに関して凸である。
• ρとλを同時に最適化する交互最小化アルゴリズムを導出し、十分な条件下で収束が保証される。
• 訓練データからランダムに抽出されたサイズrのサブサンプルを用いてm個の弱分類器を訓練し、残りのn−r点で検証することで、有限の仮説空間を構築する。
• 境界をトレードオフパラメータλの1変数関数F(λ)として再定式化し、λに関する効率的な最小化を可能にする。
• F(λ)が強く準凸となる十分条件（検証誤差の上限とモデル数mの制約を含む）を課し、一意のグローバル最小値と偽の局所最適解の存在なしを保証する。
• すべての実験で一様事前分布を用い、δ = 0.05に設定して高確率一般化境界を計算する。

実験結果

リサーチクエスチョン

• RQ1 事後分布とトレードオフパラメータλの両方に関して凸となるPAC-Bayesian境界を構築可能か？ これによりグローバル最適化が可能か？
• RQ2 境界を表す1変数関数F(λ)が強く準凸となる条件は何か？ これによりグローバル最小値への収束が保証されるか？
• RQ3 有限でデータに依存する仮説空間を構築可能か？ これにより境界の凸性と最小化保証が維持されるか？
• RQ4 交差検証と比較して、境界の厳密な最小化の性能（予測精度と計算コスト）はいかがなっているか？
• RQ5 理論的十分条件が満たされない場合でも、実際の応用においてλ依存性が準凸のままであるか？

主な発見

• 提案されたPAC-Bayes-λ境界は、事後分布ρとトレードオフパラメータλの両方に関して凸であり、十分な条件下で効率的な交互最小化とグローバル収束保証が可能である。
• 境界は1変数関数F(λ)として再定式化可能であり、導出された十分条件のもとでF(λ)は強く準凸となり、一意のグローバル最小値が保証され、偽の局所最適解は存在しない。
• すべての実験において、理論的条件が満たされない場合でもF(λ)は準凸であった。これは今後の研究で条件を緩和可能である可能性を示唆している。
• 境界の厳密な最小化は、交差検証でチューニングされたカーネルSVMと同等の予測精度を達成したが、計算コストは著しく低かった。
• 小さなサブサンプルサイズ（r ≈ d、特徴量の数）と多数のモデル（m ≈ n）の場合、計算上の利点が最大となり、標準的な交差検証を効率面で上回った。
• 実験では境界が極めてタイトであった。ρ重み付き多数決分類器の一般化誤差推定値は、確率的分類器のそれの最大2倍以内にとどまった。