[논문 리뷰] Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $β$-Mixing Processes

Liva Ralaivola, Marie Szafranski외 1명|SPIRE - Sciences Po Institutional REpository|2009. 09. 10.

Statistical Methods and Inference참고 문헌 35인용 수 36

한 줄 요약

이 논문은 분수 그래프 커버를 활용하여 종속된 데이터를 독립적인 부분집합으로 분해함으로써 비-i.i.i.d. 데이터에 대한 색채도 PAC-Bayes 경계를 도입한다. 이는 순위 매기기와 $β$-혼합 과정에 대해 날카운 generalization 경계를 가능하게 한다. 주요 기여는 i.i.i.d. 가정을 초월하는 PAC-Bayes 이론을 확장하는 일반적인 프레임워크를 제공하는 것으로, AUC 기반 순위 매기기와 정적 혼합 과정에의 적용을 가능하게 한다.

ABSTRACT

Pac-Bayes bounds are among the most accurate generalization bounds for classifiers learned from independently and identically distributed (IID) data, and it is particularly so for margin classifiers: there have been recent contributions showing how practical these bounds can be either to perform model selection (Ambroladze et al., 2007) or even to directly guide the learning of linear classifiers (Germain et al., 2009). However, there are many practical situations where the training data show some dependencies and where the traditional IID assumption does not hold. Stating generalization bounds for such frameworks is therefore of the utmost interest, both from theoretical and practical standpoints. In this work, we propose the first - to the best of our knowledge - Pac-Bayes generalization bounds for classifiers trained on data exhibiting interdependencies. The approach undertaken to establish our results is based on the decomposition of a so-called dependency graph that encodes the dependencies within the data, in sets of independent data, thanks to graph fractional covers. Our bounds are very general, since being able to find an upper bound on the fractional chromatic number of the dependency graph is sufficient to get new Pac-Bayes bounds for specific settings. We show how our results can be used to derive bounds for ranking statistics (such as Auc) and classifiers trained on data distributed according to a stationary ß-mixing process. In the way, we show how our approach seemlessly allows us to deal with U-processes. As a side note, we also provide a Pac-Bayes generalization bound for classifiers learned on data from stationary $φ$-mixing distributions.

연구 동기 및 목표

• 실제 응용에서 흔한 순위 매기기와 순차적 데이터와 같은 비-i.i.i.d. 데이터 가정 하에 PAC-Bayes 학습에 대한 일반화 경계 부족 문제를 해결한다.
• 전통적인 i.i.i.d. PAC-Bayes 경계를 종속된 데이터 구조를 다룰 수 있도록 일반화하는 이론적 프레임워크를 개발한다.
• U-통계량과 AUC와 같은 순위 성능 측정치를 포함한 설정에서 PAC-Bayes 경계의 사용을 가능하게 한다.
• 정적 $β$-혼합 및 $φ$-혼합 과정에 대한 경계 유도를 체계적으로 제공함으로써, PAC-Bayesian 일반화 이론의 범위를 확장한다.
• 분수 색채도 수를 사용하여 데이터의 종속성을 정량화하고 관리하는 방법을 제시함으로써 일반화 분석에 있어 근거가 되는 방법을 제공한다.

제안 방법

• 노드가 랜덤 변수를 나타내고 간선이 통계적 종속성을 표현하는 의존성 그래프 $Γ({\bf D}_m)$를 사용하여 데이터 종속성을 모델링한다.
• 분수 그래프 색칠(분수 커버를 통한)을 적용하여 의존성 그래프를 독립적인 부분집합으로 분할함으로써 그룹 간 종속성 감소.
• 하위그래프 $\Gamma({\bf D}_{\bf s})$의 분수 색채도 수 $\chi^*_{{\bf s}}$를 복잡성과 종속성 강도의 척도로 사용.
• 각 독립 부분집합에 표준 i.i.i.d. PAC-Bayes 경계를 적용한 후, 유니온 바운드와 농도 불등식을 통해 통합.
• 복잡성 페널티 항에 $\chi^*_{{\bf s}}$ 가 포함된 일반 경계 $\mathbb{P}\left(\text{오차} \leq \text{표본 위험} + \text{KL 발산 항} + \text{복잡성 페널티}\right) \geq 1-\delta$ 를 유도.
• 볼록성과 로그 모멘트 생성 함수를 활용하여 위험의 지수적 모멘트를 경계함으로써 날카운 일반화 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 의존성 구조를 그래프 구조로 모델링함으로써 비-i.i.i.d. 데이터에 대한 PAC-Bayes 일반화 경계를 확장할 수 있는가?
• RQ2 분수 그래프 커버는 종속된 데이터를 독립적인 구성요소로 분해하여 표준 PAC-Bayes 경계를 적용하는 데 어떻게 활용될 수 있는가?
• RQ3 분수 색채도 수는 PAC-Bayesian 일반화 경계에서 종속된 데이터의 복잡성 정량화에 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 VC 차원이나 분쇄 계수에 의존하지 않는 기존 방법에 비해 순위 성능(예: AUC)에 대해 더 날카운 또는 더 강건한 경계를 도출할 수 있는가?
• RQ5 이 프레임워크는 정적 $\beta$-혼합 및 $\varphi$-혼합 과정에 얼마나 널리 적용될 수 있으며, 순차적 또는 시간에 의존적인 데이터에 대해 어떤 함의를 지닌다?

주요 결과

• 제안된 색채도 PAC-Bayes 경계는 분수 커버를 통한 의존성 그래프 분해를 통해 비-i.i.i.d. 데이터에 대해 학습된 분류기에 대한 일반화 보장을 제공하는 최초의 경계이다.
• AUC 기반 순위 성능을 위한 경계는 데이터 기울기 의존성에 덜 민감하며, 순위 분쇄 계수에 의존하지 않아 이전 방법에 비해 더 강건한 대안을 제공한다.
• 크기가 $m-k$ 인 하위그래프 ${\bf s}$에 대해, 모든 가능한 하위그래프에 대한 유니온을 고려하기 위해 $\ln \binom{m}{k}$ 항이 포함되며, $\chi^*_{{\bf s}} \ll \chi^*({\bf D}_m)$ 일 때 경계의 날카움이 향상된다.
• U-통계량(예: AUC 계산에서 발생하는 것들)을 종속된 쌍의 합으로 간주함으로써 이 프레임워크는 이를 원활하게 처리할 수 있다.
• 이 방법은 $\varphi$-혼합 과정으로 일반화되어, PAC-Bayes 경계의 적용 범위를 $\beta$-혼합을 초월하여 더 넓은 약한 종속성 과정의 범주로 확장한다.
• 분수 색채도 수의 사용은 종속성 정량화에 있어 그래프 이론적 접근을 체계적으로 가능하게 하며, 날카운 더 해석 가능한 경계를 가능하게 하여 난잡한 독립성 가정보다 우월하다.