[논문 리뷰] The Gap Dimension and Uniform Laws of Large Numbers for Ergodic Processes

Terrence Adams, Andrew B. Nobel|arXiv (Cornell University)|2010. 07. 17.

Machine Learning and Algorithms참고 문헌 15인용 수 6

한 줄 요약

이 논문은 함수 클래스의 조합적 복잡도 측도인 갭 차원과 에르고딕 샘플링 하에서 표본 평균의 균일 수렴 사이의 연결 고리를 설정한다. 만약 균일 유계이면서 가чёт한 함수 클래스의 갭 차원이 해상도 γ에서 유한하다면, 어떤 에르고딕 과정에서도 표본 평균의 점근적 이질성은 10γ 이내임을 증명하며, 혼합성 또는 매끄러움 조건을 요구하지 않고도 균일한 대수의 법칙 행동을 보장한다.

ABSTRACT

Let F be a family of Borel measurable functions on a complete separable metric space. The gap (or fat-shattering) dimension of F is a combinatorial quantity that measures the extent to which functions f in F can separate finite sets of points at a predefined resolution gamma > 0. We establish a connection between the gap dimension of F and the uniform convergence of its sample averages under ergodic sampling. In particular, we show that if the gap dimension of F at resolution gamma > 0 is finite, then for every ergodic process the sample averages of functions in F are eventually within 10 gamma of their limiting expectations uniformly over the class F. If the gap dimension of F is finite for every resolution gamma > 0 then the sample averages of functions in F converge uniformly to their limiting expectations. We assume only that F is uniformly bounded and countable (or countably approximable). No smoothness conditions are placed on F, and no assumptions beyond ergodicity are placed on the sampling processes. Our results extend existing work for i.i.d. processes.

연구 동기 및 목표

• 함수 클래스의 조합적 복잡도를 갭 차원으로 측정하는 것과 에르고딕 샘플링 하에서 표본 평균의 균일 수렴 사이의 연결 고리를 설정하는 것.
• 일반적인 정적이고 에르고딕인 과정으로까지 일관된 대수의 법칙 결과를 확장하는 것.
• 혼합성, 매끄러움 또는 i.i.d. 샘플링을 가정하지 않으면서도 균일 수렴 보장을 유지하는 것.
• 해상도 γ에서 갭 차원에 대한 점근적 이질성의 날카운 수량적 경계를 제공하는 것.
• 기존의 i.i.d. 과정에 대한 결과를 더 넓은 범주인 에르고딕 과정으로 일반화하면서 최소한의 구조적 가정을 유지하는 것.

제안 방법

• 함수 집합 F의 원소들이 유한한 점 집합을 얼마나 정교하게 분리할 수 있는지 측정하는 해상도 γ에서의 갭 차원을 도입한다.
• 킹먼의 부분합성 에르고딕 정리(ergodic theorem)를 활용하여, 표본 평균이 기대값에서 벗어나는 최대 편차의 거의확실한 극한으로서 점근적 이질성 Γ(F:X)를 정의한다.
• 가측 분할과 이진 간격의 구조에 기반한 조합적 추론을 통해 유한한 갭 차원이 유계 이질성과 연결됨을 밝힌다.
• 가측 동형사상과 간단한 함수 근사 기법을 활용한 측도론적 근사 기법을 적용하여, 불가측한 가중치 집합을 가산적인 것으로 환원한다.
• 해상도 γ에서 갭 차원이 유한하면 어떤 유한한 집합도 γ-파괴될 수 있는 크기가 유계임을 의미하며, 이는 표본 평균의 진동을 제한함을 암시한다.
• 모순 증명 기법을 사용한다: 만약 이질성이 η를 초과한다면, 모든 해상도 γ ≤ η/10에서 갭 차원은 무한해야 하며, 이로부터 주요 정리를 도출한다.

실험 결과

연구 질문

• RQ1 함수 클래스 F에 대해 어떤 조건이 에르고딕 과정에서 균일한 대수의 법칙이 성립하게 하는가?
• RQ2 함수 클래스 F의 해상도 γ에서의 갭 차원은 에르고딕 샘플링 하에서 표본 평균의 점근적 이질성과 어떻게 관련되는가?
• RQ3 혼합성 또는 F의 매끄러움 조건을 가정하지 않더라도, 에르고딕 과정에서 균일 수렴을 보장할 수 있는가?
• RQ4 유한한 갭 차원과 점근적 이질성의 상한 사이의 날카운 수량적 관계는 무엇인가?
• RQ5 어떤 해상도 γ에서 갭 차원이 유한하지 않다면, 어떤 에르고딕 과정에서 균일 수렴이 실패하는가?

주요 결과

• 함수 클래스 F의 해상도 γ에서 갭 차원이 유한하면, 어떤 에르고딕 과정에서도 F의 점근적 이질성은 10γ 이내이다.
• 모든 γ > 0에 대해 F의 갭 차원이 유한하면, 점근적 이질성은 0이 되며, 이는 표본 평균이 기대값으로의 균일 수렴을 의미한다.
• 증명의 경미한 수정으로 상수 10을 4 + ε로 개선할 수 있으며, 여기서 ε > 0은 임의로 작은 수이다.
• 결과는 최소한의 가정으로 성립한다: F는 균일 유계이며 가산적(또는 가산적으로 근사 가능한)이며, 과정은 단지 정적이고 에르고딕하다.
• F 또는 샘플링 과정에 대해 매끄러움 또는 혼합성 조건이 필요하지 않다.
• 증명 기법은 가측 근사를 통해 불가측 가중치 집합으로까지 확장되며, 핵심적인 이질성 경계는 유지된다.