[논문 리뷰] Limit theorems for invariant distributions

Morgane Austern, Peter Orbanz|arXiv (Cornell University)|2018. 06. 27.

Bayesian Methods and Mixture Models참고 문헌 35인용 수 3

한 줄 요약

이 논문은 에르고딕 이론과 스텐의 방법을 사용하여 변환군에 대한 평균화 기반의 불변 분포 추정기의 중심극한정리, 베르리-에세른 경계 및 농도 불등식을 수립한다. 혼합 조건과 군 성장 조건 하에서 넓은 범위의 과정들에 대해 경험 엔트로피의 점근 정규성을 증명한다.

ABSTRACT

A distributional symmetry is invariance of a distribution under a group of transformations. Exchangeability and stationarity are examples. We explain that a result of ergodic theory provides a law of large numbers: If the group satisfies suitable conditions, expectations can be estimated by averaging over subsets of transformations, and these estimators are strongly consistent. We show that, if a mixing condition holds, the averages also satisfy a central limit theorem, a Berry-Esseen bound, and concentration. These are extended further to apply to triangular arrays, to randomly subsampled averages, and to a generalization of U-statistics. As applications, we obtain new results on exchangeability, random fields, network models, and a class of marked point processes. We also establish asymptotic normality of the empirical entropy for a large class of processes. Some known results are recovered as special cases, and can hence be interpreted as an outcome of symmetry. The proofs adapt Stein's method.

연구 동기 및 목표

• 군 불변 분포 하에서 기대값의 일致 추정을 위한 일반적 프레임워크 개발.
• 변환군에 대한 평균화 기반 추정기의 중심극한정리 및 베르리-에세른 경계 수립.
• 삼각 배열, 무작위로 부분 추출된 평균, 일반화된 U-통계량으로 결과 확장.
• 혼합 조건과 군 성장 조건 하에서 불변 과정에서 경험 엔트로피의 점근 정규성 증명.
• 대칭성을 통해 기존의 가역성, 무작위 필드, 네트워크 모델 및 점 프로세스 이론의 결과를 통합 및 일반화.

제안 방법

• 군 평균 추정기의 강한 일致성의 기초로 린든스트라우스의 점별 에르고딕 정리를 사용.
• 스텐의 방법을 적용하여 군 평균 기능의 베르리-에세른 경계 및 농도 불등식 유도.
• 군 원소 k개의 트리플릿을 통한 계수 α(t,k)로 정의된 혼합 조건을 도입하여 의존성 제어.
• 군에 대한 왼쪽 불변 총순서를 도입하여 예측 의존성 정의 및 엔트로피 추정의 근사 오차 제어.
• 확장되는 부분집합에서의 군 평균의 점근적 동치를 보장하기 위해 온화한 폴러 시퀀스 사용.
• 예측 로그우도 간의 공분산 합으로 점근 분산 η² 유도.

실험 결과

연구 질문

• RQ1 불변 분포에 대해 군 평균 추정기 Fn(f,X)가 점근적으로 정규분포를 띠는 조건은 무엇인가?
• RQ2 스텐의 방법을 사용하여 불변 추정기의 베르리-에세른 경계를 어떻게 도출할 수 있는가?
• RQ3 경험 엔트로피의 점근 정규성을 보장하는 혼합 조건은 무엇인가?
• RQ4 군의 구조 선택(예: 다항식 성장, 토르션 없는)이 추정기 수렴 성질에 미치는 영향은 무엇인가?
• RQ5 기존의 가역성 및 네트워크 모델 이론 결과들이 이 일반 프레임워크의 특수 케이스로 복원 가능한가?

주요 결과

• G-불변성과 온화한 폴러 시퀀스 하에서 군 평균 추정기 Fn(f,X)는 강한 일치성을 확보한다.
• 군의 성장 조건과 α(t,k)를 포함한 혼합 조건 하에서 Fn(f,X)에 대해 중심극한정리가 성립한다.
• 혼합 계수와 군 성장에 따라 변하는 속도를 갖는 베르리-에세른 경계가 확립된다.
• ρm에 대한 합계 조건과 α(i−m,|Bm|) 하에서 경험 엔트로피 hn(λ,X)의 점근 정규성이 증명된다.
• 점근 분산 η²는 왼쪽 불변성 하에서 순서의 선택과 무관하게 예측 로그우도 간의 공분산 합으로 표현된다.
• 이 프레임워크는 기존의 가역성, 무작위 필드 및 네트워크 모델 이론 결과를 특수 케이스로 복원한다.