[논문 리뷰] Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $\\beta$-Mixing Processes

Liva Ralaivola, Marie Szafranski외 1명|arXiv (Cornell University)|2009. 09. 10.

Machine Learning and Algorithms참고 문헌 21인용 수 25

한 줄 요약

이 논문은 비.i.i.d. 데이터를 위한 크로마틱 PAC-Bayes 경계를 제안하며, 분수 그래프 커버를 활용하여 종속된 데이터를 독립적인 부분집합으로 분해함으로써 순위 및 $β$-믹싱 과정에 대한 날카운 generalization 경계를 가능하게 한다. 주요 기여는 종속성 그래프 색칠을 통해 i.i.i.d. 가정을 초월한 PAC-Bayes 이론을 확장하는 일반적인 프레임워크를 제공하는 것으로, AUC 및 정적 믹싱 과정에의 응용을 포함한다.

ABSTRACT

Pac-Bayes bounds are among the most accurate generalization bounds for classifiers learned from independently and identically distributed (IID) data, and it is particularly so for margin classifiers: there have been recent contributions showing how practical these bounds can be either to perform model selection (Ambroladze et al., 2007) or even to directly guide the learning of linear classifiers (Germain et al., 2009). However, there are many practical situations where the training data show some dependencies and where the traditional IID assumption does not hold. Stating generalization bounds for such frameworks is therefore of the utmost interest, both from theoretical and practical standpoints. In this work, we propose the first - to the best of our knowledge - Pac-Bayes generalization bounds for classifiers trained on data exhibiting interdependencies. The approach undertaken to establish our results is based on the decomposition of a so-called dependency graph that encodes the dependencies within the data, in sets of independent data, thanks to graph fractional covers. Our bounds are very general, since being able to find an upper bound on the fractional chromatic number of the dependency graph is sufficient to get new Pac-Bayes bounds for specific settings. We show how our results can be used to derive bounds for ranking statistics (such as Auc) and classifiers trained on data distributed according to a stationary {\\ss}-mixing process. In the way, we show how our approach seemlessly allows us to deal with U-processes. As a side note, we also provide a Pac-Bayes generalization bound for classifiers learned on data from stationary $\\varphi$-mixing distributions.

연구 동기 및 목표

• 실제 응용 사례인 순위 및 순차적 데이터와 같이 흔히 발생하는 종속된 데이터를 학습한 PAC-Bayes 분류기의 일반화 경계 부족 문제를 해결한다.
• 그래프 이론적 도구를 통해 종속성 구조를 통합함으로써 고전적 PAC-Bayes 프레임워크를 i.i.i.d. 가정을 초월하여 확장한다.
• 분수 커버를 통한 종속된 랜덤 변수의 독립적 부분집합으로의 분해를 통해 비.i.i.d. 환경에서 일반화 경계를 이론적으로 유도하는 방법을 제시한다.
• 프레임워크의 유용성을 두 가지 핵심 응용 분야인 순위 성능(예: AUC) 및 정적 $β$-믹싱 과정에서 학습된 분류기에서 입증한다.
• 크로마틱 분해 접근법을 통해 U-통계량과 PAC-Bayes 경계 간의 연결을 수립한다.

제안 방법

• 노드가 랜덤 변수를 나타내고 간선이 통계적 종속성을 표현하는 종속성 그래프 $Γ({\bf D}_m)$를 사용하여 데이터 종속성을 모델링한다.
• 분수 그래프 색칠(분수 커버를 통한)을 적용하여 종속성 그래프를 독립적 부분집합으로 분할하고, 이러한 부분집합의 수를 최소화한다.
• 부분집합 ${\bf s}$에 의해 유도된 부분그래프의 분수 색칠 수 $\chi^*_{{\bf s}}$를 종속성 복잡도의 척도로 사용한다.
• 각 독립적 부분집합에 대해 표준 i.i.i.d. PAC-Bayes 경계를 적용하고, 모든 가능한 부분집합에 대한 유니언 바운드를 통해 결과를 통합한다.
• 다음과 같은 일반 경계를 유도한다: $\mathbb{E}_{h\sim Q}[R(h)] \leq \hat{e}_Q({\bf Z}_{\bf s}) + \frac{1}{\chi^*_{{\bf s}}} \left[ \operatorname{KL}(Q||P) + \ln \frac{|{\bf s}| + \chi^*_{{\bf s}}}{\chi^*_{{\bf s}}} + \ln \binom{m}{k} + \ln \frac{1}{\delta} \right]$, 여기서 $\chi^*_{{\bf s}}$는 분수 색칠 수이다.
• 볼록성과 농도 불등식을 활용하여 경계의 날카움과 U-통계량 및 AUC와 같은 순위 지표에의 적용 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 의존성 구조를 그래프 구조로 모델링함으로써 비.i.i.d. 데이터에 대한 PAC-Bayes 일반화 경계를 확장할 수 있는가?
• RQ2 분수 그래프 커버는 종속된 데이터를 PAC-Bayes 분석을 위해 독립적 구성요소로 분해하는 데 어떻게 활용될 수 있는가?
• RQ3 의존성 구조는 PAC-Bayes 경계의 날카움에 어떤 영향을 미치며, 이를 어떻게 정량화할 수 있는가?
• RQ4 제안된 프레임워크는 기존 방법에 비해 순위 성능(예: AUC)에 대해 더 날카운 또는 더 강건한 경계를 도출할 수 있는가?
• RQ5 크로마틱 PAC-Bayes 프레임워크는 정적 $β$-믹싱 및 $φ$-믹싱 과정에 얼마나 광범위하게 적용될 수 있는가?

주요 결과

• 제안된 크로마틱 PAC-Bayes 경계는 종속성 그래프의 분수 색칠 수를 복잡도 척도로 사용함으로써 비.i.i.d. 데이터를 학습한 분류기에 대한 일반화 보장을 제공한다.
• 순위 작업의 경우 AUC 성능에 대한 경계는 데이터 왜곡에 덜 민감하며 VC-차원이나 랭크-산산화 계수에 의존하지 않아 더 강건한 대안을 제공한다.
• 분수 커버를 통한 종속성 구조의 분해를 통해 U-통계량을 자연스럽게 처리할 수 있다.
• 부분그래프의 분수 색칠 수가 유한하게 유지되는 한, $k = \mathcal{O}_m(1)$ 일 때 $m \to \infty$ 로 갈수록 경계는 날카롭고 渐진적으로 0에 수렴한다.
• 이 방법은 $φ$-믹싱 과정으로 일반화되어 i.i.i.d. 및 $β$-믹싱 설정을 초월한 PAC-Bayes 경계 적용 범위를 확장한다.
• 분수 커버의 사용은 고전적 PAC-Bayes 증명 구조의 깔끔하고 모듈러한 확장 가능성을 보장하며, 단순함을 유지하면서 종속성 복잡도를 포착한다.