[論文レビュー] A Limitation of the PAC-Bayes Framework

Roi Livni, Shay Moran|arXiv (Cornell University)|Jun 24, 2020

Machine Learning and Algorithms参考文献 34被引用数 4

ひとこと要約

本論文は、1次元のしきい値分類器がO(log(1/δ)/ε)のサンプルで有効にPAC学習可能であるにもかかわらず、PAC-Bayes解析がいかなる学習アルゴリズムに対しても非自明な一般化境界を導けないという、PAC-Bayesフレームワークの根本的限界を示している。主な結果は、任意の学習アルゴリズムに対して、実現可能分布が存在し、その分布においてPAC-Bayes境界がいかなる事前分布やアルゴリズム設計にかかわらず、任意に大きくなることである。

ABSTRACT

PAC-Bayes is a useful framework for deriving generalization bounds which was introduced by McAllester ('98). This framework has the flexibility of deriving distribution- and algorithm-dependent bounds, which are often tighter than VC-related uniform convergence bounds. In this manuscript we present a limitation for the PAC-Bayes framework. We demonstrate an easy learning task that is not amenable to a PAC-Bayes analysis. Specifically, we consider the task of linear classification in 1D; it is well-known that this task is learnable using just $O(\log(1/δ)/ε)$ examples. On the other hand, we show that this fact can not be proved using a PAC-Bayes analysis: for any algorithm that learns 1-dimensional linear classifiers there exists a (realizable) distribution for which the PAC-Bayes bound is arbitrarily large.

研究の動機と目的

• PAC-Bayesフレームワークが学習可能な概念クラスを分析する際の根本的限界を特定し、それを示すこと。
• 1次元しきい値という単純で効率的に学習可能なクラスですら、非自明なPAC-Bayes境界では分析できないことを示すこと。
• 任意の、おそらく分布依存の事前分布や任意の学習アルゴリズムを許容しても、この限界が成立することを確立すること。
• PAC学習可能性とPAC-Bayes適合性の間の乖離を強調し、フレームワークの普遍性に関する仮定に疑問を呈すること。
• 安定性や暗黙のバイアスに基づく学習アルゴリズムにおける一般化を分析するための代替フレームワークのさらなる探求を促すこと。

提案手法

• 任意のGibbs分類器が出力される1次元しきい値の例に対する実現可能分布を構築し、その分布ではPAC-Bayes境界が無限大に発散することを示す。
• 区間の構造と奇数番目の点に基づく確率的議論を用いて、誤差事象の確率を評価する。
• アロンら（2019）が微分プライベート学習に用いたKLダイバージェンスの下界技術を応用し、事後分布と事前分布間のKLダイバージェンスの下界を導出する。
• 候補となるしきい値の集合に対するサンプリングに基づく議論を用いて、期待KLダイバージェンスがドメインサイズに従って増大することを示す。
• しきい値のための一貫した経験的リスク最小化（ERM）がPAC学習に十分であるが、PAC-Bayes解析では依然として失敗することを活かす。
• 境界の発散がΩ((q₂−q₁)²b/log b)であることを示し、ドメインサイズに従って増大し、一様に小さくはできないことを示す。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesフレームワークは、1次元しきい値分類器のクラスに対して非自明な一般化境界を提供できるか？
• RQ2 分布依存の事前分布を許容しても、1次元しきい値のための学習アルゴリズムが非自明なPAC-Bayes境界によって証明可能か？
• RQ3 1次元しきい値に対して非常に効率的なPAC学習アルゴリズムが存在するという事実は、PAC-Bayesでもその一般化を証明できるという意味か？
• RQ4 一貫性があり、低複雑性の学習者を捕捉するPAC-Bayesフレームワークの構造的限界は何か？
• RQ5 PAC-Bayes解析は、安定性や補間型アルゴリズムにおける高速収束、分布依存の学習率を捉えるように拡張可能か？

主な発見

• 1次元しきい値のクラスは、ドメインサイズに依存せず、O(log(1/δ)/ε)のサンプル複雑性でPAC学習可能である。
• 1次元しきい値を学習する任意のアルゴリズムに対して、PAC-Bayes境界が任意に大きくなる実現可能分布が存在する。
• これは、事前分布を任意に選んでも、分布に依存するものであっても、同様に成立する。
• PAC-Bayes境界におけるKLダイバージェンス項はΩ((q₂−q₁)²b/log b)のオーダーで増大し、ドメインが大きくなると無限大に発散する。
• この結果は、1-Nearest-Neighborや他の一貫した学習者と同様に、特定の実現可能分布においてPAC-Bayes一般化境界が性能を追いつかないことを示唆する。
• このクラスにおいて、PAC-Bayesフレームワークは補間型アルゴリズム（1-Nearest-Neighborなど）の一般化を捉えることができず、それらの強力な実験的性能にもかかわらず失敗する。