[論文レビュー] Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $\\beta$-Mixing Processes

Liva Ralaivola, Marie Szafranski+1 more|arXiv (Cornell University)|Sep 10, 2009

Machine Learning and Algorithms参考文献 21被引用数 25

ひとこと要約

本稿では、分数グラフ被覆を用いて従属するデータを独立な部分集合に分解することで、順序付けおよび$β$-混合過程のためのタイトな一般化境界を可能にする、非i.i.d.データに対する色分けPAC-Bayes境界を導入する。主な貢献は、依存性グラフの彩色を通じてPAC-Bayes理論をi.i.d.仮定を超えて拡張する汎用フレームワークを提供することであり、AUCおよび定常的$β$-混合過程への応用を含む。

ABSTRACT

Pac-Bayes bounds are among the most accurate generalization bounds for classifiers learned from independently and identically distributed (IID) data, and it is particularly so for margin classifiers: there have been recent contributions showing how practical these bounds can be either to perform model selection (Ambroladze et al., 2007) or even to directly guide the learning of linear classifiers (Germain et al., 2009). However, there are many practical situations where the training data show some dependencies and where the traditional IID assumption does not hold. Stating generalization bounds for such frameworks is therefore of the utmost interest, both from theoretical and practical standpoints. In this work, we propose the first - to the best of our knowledge - Pac-Bayes generalization bounds for classifiers trained on data exhibiting interdependencies. The approach undertaken to establish our results is based on the decomposition of a so-called dependency graph that encodes the dependencies within the data, in sets of independent data, thanks to graph fractional covers. Our bounds are very general, since being able to find an upper bound on the fractional chromatic number of the dependency graph is sufficient to get new Pac-Bayes bounds for specific settings. We show how our results can be used to derive bounds for ranking statistics (such as Auc) and classifiers trained on data distributed according to a stationary {\\ss}-mixing process. In the way, we show how our approach seemlessly allows us to deal with U-processes. As a side note, we also provide a Pac-Bayes generalization bound for classifiers learned on data from stationary $\\varphi$-mixing distributions.

研究の動機と目的

• 順序付けや逐次データなど、実世界の応用で一般的な従属データを学習したPAC-Bayes分類器の一般化境界の欠如に対処する。
• グラフ論的ツールを用いて依存構造を組み込むことで、古典的PAC-Bayesフレームワークをi.i.d.仮定を超えて拡張する。
• 分数被覆を用いて従属確率変数を独立な部分集合に分解することで、非i.i.i.d.設定における一般化境界を体系的に導出するための原理的手段を提供する。
• 本フレームワークの実用性を、順序付け性能（例：AUC）および定常的$β$-混合過程で学習された分類器の2つの主要応用において示す。
• 色分け分解アプローチを通じてU統計量とPAC-Bayes境界の間の関係を確立する。

提案手法

• データの依存関係を、ノードが確率変数を表し、エッジが統計的依存性を符号化する依存性グラフ$Γ({\bf D}_m)$でモデル化する。
• 分数グラフ彩色（分数被覆を介して）を適用して、依存性グラフを独立な部分集合に分割し、そのような部分集合の数を最小化する。
• 部分集合${\bf s}$に由来する部分グラフの分数彩色数$\chi^*_{{\bf s}}$を、依存性の複雑さの指標として用いる。
• 各独立部分集合に標準的なi.i.i.d. PAC-Bayes境界を適用し、すべての可能な部分集合にわたる和集合の上限を用いて結果を結合する。
• 一般化された境界$\mathbb{E}_{h\sim Q}[R(h)] \leq \hat{e}_Q({\bf Z}_{\bf s}) + \frac{1}{\chi^*_{{\bf s}}} \left[ \operatorname{KL}(Q||P) + \ln \frac{|{\bf s}| + \chi^*_{{\bf s}}}{\chi^*_{{\bf s}}} + \ln \binom{m}{k} + \ln \frac{1}{\delta} \right]$を導出する。ここで$\chi^*_{{\bf s}}$は分数彩色数である。
• 凸性および集中不等式を活用して、U統計量およびAUCなどの順序付け指標への適用におけるタイトさと適用可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 依存関係をグラフ構造でモデル化することで、PAC-Bayes一般化境界を非i.i.i.d.データに拡張できるか？
• RQ2 分数グラフ被覆を用いて、PAC-Bayes解析のための従属データを独立成分に分解する方法は何か？
• RQ3 依存構造がPAC-Bayes境界のタイトさに与える影響は何か？ そして、その影響はどのように定量化できるか？
• RQ4 提案されたフレームワークは、既存の手法と比較して、順序付け性能（例：AUC）のためのよりタイトまたはよりロバストな境界をもたらすか？
• RQ5 色分けPAC-Bayesフレームワークは、定常的$β$-混合および$φ$-混合過程にどの程度適用可能か？

主な発見

• 提案された色分けPAC-Bayes境界は、依存性グラフの分数彩色数を複雑さの指標として用いることで、非i.i.i.d.データで学習された分類器の一般化保証を提供する。
• 順序付けタスクでは、AUC性能の境界がデータの偏りに対して感受性が低く、VC次元やランクシャッタ係数に依存せず、よりロバストな代替手段を提供する。
• 分数被覆を介して依存構造を独立成分に分解することで、本フレームワークはU統計量を自然に扱える。
• 部分グラフの分数彩色数が有界のまま保たれる限り、$k = \mathcal{O}_m(1)$のとき、$m \to \infty$の下で境界はタイトであり、漸近的に消える。
• 本手法は$φ$-混合過程へ一般化可能であり、PAC-Bayes境界の適用範囲をi.i.i.d.および$β$-混合設定を超えて拡張する。
• 分数被覆の使用により、古典的PAC-Bayesの証明構造に洗練されたモジュラーな拡張が可能となり、シンプルさを保ちながら依存性の複雑さを捉えることができる。