[論文レビュー] Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $β$-Mixing Processes

Liva Ralaivola, Marie Szafranski+1 more|SPIRE - Sciences Po Institutional REpository|Sep 10, 2009

Statistical Methods and Inference参考文献 35被引用数 36

ひとこと要約

本稿では、分数グラフ被覆を用いて従属するデータを独立な部分集合に分解することで、順序付けと$β$-混合過程のためのタイトな一般化境界を可能にする、非i.i.d.データに対する彩色PAC-Bayes境界を導入する。主な貢献は、i.i.d.仮定を超えたPAC-Bayes理論を拡張する汎用フレームワークの構築であり、AUCに基づく順序付けと定常混合過程への応用が含まれる。

ABSTRACT

Pac-Bayes bounds are among the most accurate generalization bounds for classifiers learned from independently and identically distributed (IID) data, and it is particularly so for margin classifiers: there have been recent contributions showing how practical these bounds can be either to perform model selection (Ambroladze et al., 2007) or even to directly guide the learning of linear classifiers (Germain et al., 2009). However, there are many practical situations where the training data show some dependencies and where the traditional IID assumption does not hold. Stating generalization bounds for such frameworks is therefore of the utmost interest, both from theoretical and practical standpoints. In this work, we propose the first - to the best of our knowledge - Pac-Bayes generalization bounds for classifiers trained on data exhibiting interdependencies. The approach undertaken to establish our results is based on the decomposition of a so-called dependency graph that encodes the dependencies within the data, in sets of independent data, thanks to graph fractional covers. Our bounds are very general, since being able to find an upper bound on the fractional chromatic number of the dependency graph is sufficient to get new Pac-Bayes bounds for specific settings. We show how our results can be used to derive bounds for ranking statistics (such as Auc) and classifiers trained on data distributed according to a stationary ß-mixing process. In the way, we show how our approach seemlessly allows us to deal with U-processes. As a side note, we also provide a Pac-Bayes generalization bound for classifiers learned on data from stationary $φ$-mixing distributions.

研究の動機と目的

• 順序付けや逐次データなどの実世界の応用で一般的な非i.i.i.d.データ仮定下でのPAC-Bayes学習の一般化境界の欠如に対処する。
• 従属するデータ構造を扱えるように、古典的なi.i.i.d. PAC-Bayes境界を一般化する理論的フレームワークを構築する。
• U統計量やAUCなどの順序付け性能指標を含む設定でPAC-Bayes境界の使用を可能にする。
• 定常$β$-混合および$φ$-混合過程のための境界を体系的に導出する原理的手段を提供し、PACベイジアン一般化理論の範囲を拡張する。
• 分数彩色数を用いてデータ内の依存関係を定量化・管理する手法を、一般化解析に応用する。

提案手法

• ノードが確率変数を表し、エッジが統計的依存関係を符号化する依存性グラフ$Γ({\bf D}_m)$を用いてデータの依存関係をモデル化する。
• 分数グラフ彩色（分数被覆を介して）を適用して、依存性グラフを独立な部分集合に分割し、グループ間の依存性を低減する。
• 部分グラフ$\Gamma({\bf D}_{\bf s})$の分数彩色数$\chi^*_{{\bf s}}$を、複雑さおよび依存性の強さの指標として用いる。
• 各独立な部分集合に標準的なi.i.i.d. PAC-Bayes境界を適用し、その後、和集合の不等式と集中不等式を用いて統合する。
• 複雑さペナルティに$\chi^*_{{\bf s}}$を含む形で、一般形の境界$\mathbb{P}\left(\text{誤差} \leq \text{経験的リスク} + \text{KL発散項} + \text{複雑さペナルティ}\right) \geq 1-\delta$を導出する。
• 凸性および対数モーメント母関数を活用してリスクの指数モーメントを抑え、タイトな一般化制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 依存関係をグラフ構造でモデル化することで、非i.i.i.d.データに対するPAC-Bayes一般化境界を拡張できるか？
• RQ2 分数グラフ被覆を用いて、従属データを標準的なPAC-Bayes境界を適用可能な独立成分に分解できるか？
• RQ3 分数彩色数は、PACベイジアン一般化境界における従属データの複雑さを定量化する上で果たす役割は何か？
• RQ4 提案されたフレームワークは、VC次元やシャッタリング係数に基づく従来手法と比較して、順序付け性能（例：AUC）のためのよりタイトまたはよりロバストな境界を導出できるか？
• RQ5 このフレームワークはどの程度、定常$β$-混合および$\varphi$-混合過程に適用可能であり、逐次的または時系列依存データにどのような意味を持つのか？

主な発見

• 提案された彩色PAC-Bayes境界は、分数被覆による依存性グラフ分解を用いて非i.i.i.d.データ上で訓練された分類器の一般化保証を提供する最初のものである。
• AUCに基づく順序付け性能のための境界は、データの偏りにあまり依存せず、順序付けシャッタリング係数に依存しないため、従来手法よりもよりロバストな代替手段を提供する。
• サイズ$m-k$の部分グラフ${\bf s}$に対して、すべての可能な部分グラフの和集合を考慮するため$\ln \binom{m}{k}$の項が含まれる。$\chi^*_{{\bf s}} \ll \chi^*({\bf D}_m)$である場合、タイトさが向上する。
• U統計量（例：AUC計算で生じる）を、従属ペアの和として扱うことで、フレームワークは自然にそれらを処理できる。
• この手法は$\varphi$-混合過程へ一般化可能であり、$β$-混合にとどまらず、弱く従属するプロセスの広いクラスにPAC-Bayes境界の適用範囲を拡張する。
• 分数彩色数の使用により、依存関係の定量化に原理的かつグラフ理論的アプローチを可能にし、単純な独立性仮定よりもタイトで解釈性の高い境界を実現できる。