[논문 리뷰] Bounds for Rademacher Processes via Chaining

Johannes Lederer|arXiv (Cornell University)|2010. 10. 27.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 3

한 줄 요약

이 논문은 체이닝 기법을 사용하여 고차원 설정에서 라데마처 과정에 대한 날카운 상계를 도출한다. 특히 고전적 엔트로피 경계와 메이저라이징 메처를 적용한다. 공변수 간 상관계수가 강할 경우, 경계가 차원 𝑙에 독립적이 되며, 𝑙 ≫ 𝑛인 고차원 점점 증가하는 설정에서 성능이 크게 향상됨을 보여준다.

ABSTRACT

We study Rademacher processes where the coefficients are functions evaluated at fixed, but arbitrary covariables. Specifically, we assume the function class under consideration to be parametrized by the standard cocube in l dimensions and we are mainly interested in the high-dimensional, asymptotic situation, that is, l as well the number of Rademacher variables n go to infinity with l much larger than n. We refine and apply classical entropy bounds and Majorizing Measures, both going back to the well known idea of chaining. That way, we derive general upper bounds for Rademacher processes. In the linear case and under high correlations, we further improve on these bounds. In particular, we give bounds independent of l for highly correlated covariables.

연구 동기 및 목표

• 𝑙 ≫ 𝑛인 고차원 점점 증가하는 설정에서 라데마처 과정에 대한 날카운 상계를 도출하는 것.
• 𝑙차원 표준 코큐브를 매개변수로 하는 함수 클래스에 대해 체이닝을 이용한 고전적 엔트로피 경계와 메이저라이징 메처의 정밀화.
• 공변수 간 강한 상관관계가 라데마처 복잡도의 증가에 미치는 영향과, 차원에 의존하지 않는 경계가 가능할지 조사하는 것.
• 강한 상관관계 하에서 메이저라이징 메처가 고전적 엔트로피 방법보다 훨씬 더 우수한 경계를 제공함을 보여주는 것.

제안 방법

• 라데마처 과정의 최대값을 근사 집합의 시퀀스를 따라 증분들의 합으로 분해함으로써 체이닝을 적용한다.
• 커버링 수의 적분 형태와 로그 엔트로피 적분을 사용하여 고전적 엔트로피 경계를 정밀화한다.
• 메이저라이징 메처는 근사 거리 𝑑(𝜃,𝜃′) = ‖(𝜙𝜃(𝑥𝑖)−𝜙𝜃′(𝑥𝑖))‖₂로부터 유도된 메트릭 공간 위의 가우시안 과정을 구성함으로써 적용된다.
• 수축 성질을 가정한다: 𝑑(𝜃,𝜃′) ≤ √𝑛𝐴(𝑥)‖𝜃−𝜃′‖₂로, 이는 기대 최대값을 √𝑛 log(𝑙+1)𝐴(𝑥)𝑀를 통해 경계할 수 있게 한다.
• 선형 케이스에서는 log(𝑛+1) 요소를 제거할 수 있으며, 이로 인해 경계가 K√𝑛 log(𝑙+1)𝐴(𝑥)𝑀로 향상된다.
• 강한 상관관계 하에서는 직교 행렬을 사용한 재매개변수화와 열 벡터들의 대칭 볼록 hull을 통해, 타원형 커버링과 메트릭 엔트로피 통합을 통해 차원에 의존하지 않는 경계를 도출한다.

실험 결과

연구 질문

• RQ1 고전적 엔트로피 경계는 고차원 설정에서 라데마처 과정의 통제를 더 견고하게 개선시킬 수 있는가?
• RQ2 공변수 간 강한 상관관계가 고차원 점점 증가하는 설정에서 라데마처 복잡도의 증가에 어떤 영향을 미치는가?
• RQ3 ℓ¹-벌점 함수 클래스의 맥락에서 메이저라이징 메처는 고전적 엔트로피 경계를 능가할 수 있는가?
• RQ4 라데마처 과정 경계가 차원 𝑙에 독립적이 되기 위한 조건은 무엇인가?
• RQ5 설계 행렬의 열들이 매우 상관관계가 높을 경우 선형 모형에서 차원에 의존하지 않는 경계를 달성할 수 있는가?

주요 결과

• 수축 성질을 가진 일반적인 함수 클래스에 대해, 경계는 𝔼[sup|𝑋𝜃|] ≤ 𝔼|𝑋𝜃₀| + K√𝑛 log(𝑙+1) log(𝑛+1)𝐴(𝑥)𝑀로 주어지며, log(𝑛+1) 요소가 포함된다.
• 선형 케이스에서는 log(𝑛+1) 요소를 제거할 수 있으며, 이로 인해 향상된 경계 𝔼[sup|𝑋𝜃|] ≤ K√𝑛 log(𝑙+1)𝐴(𝑥)𝑀를 도출한다.
• 강한 상관관계 하에서는 경계가 𝑙에 독립적이며, 핵심 결과는 𝔼[sup|𝑋𝜃|] ≤ K𝛾₁(S,d₂)로, 지름이 유계인 집합 𝑆에 대해 성립한다.
• 메이저라이징 메처의 사용은 설계 행렬의 열들이 작은 타원체에 포괄될 경우, 차원에 의존하지 않는 경계를 도출한다.
• 증명은 타원체 내의 최대 𝑀-분리 집합을 구성하고, 허프딩 부등식 및 메트릭 엔트로피 통합을 적용하는 데 기반한다.
• 최종 경계는 임베딩 차원 𝑙에 관계없이 타원체의 메트릭 엔트로피와 수축 성질에만 의존한다.