[논문 리뷰] Dependency-dependent Bounds for Sums of Dependent Random Variables

Jasmin Lampert, Liva Ralaivola외 1명|arXiv (Cornell University)|2018. 11. 04.

Markov Chains and Monte Carlo Methods참고 문헌 16인용 수 7

한 줄 요약

이 논문은 임의의 종속 랜덤 변수 집합을 위한 새로운 종속도 측도를 제안하며, 독립성 또는 시간 순서 구조를 가정하지 않고 종속성의 강도에 따라 적응하는 농도 부등식을 가능하게 한다. 이는 임계값을 적용한 종속성 그래프를 통해 약한 종속성을 통합함으로써 고전적 결과(예: 허프딩의 부등식)를 초월하는 바, 비.i.i.d. 설정에서 임의의 종속성 구조를 가진 경우에 더 날카운 꼬리 확률 제어를 달성한다.

ABSTRACT

We consider the problem of bounding large deviations for non-i.i.d. random variables that are allowed to have arbitrary dependencies. Previous works typically assumed a specific dependence structure, namely the existence of independent components. Bounds that depend on the degree of dependence between the observations have only been studied in the theory of mixing processes, where variables are time-ordered. Here, we introduce a new way of measuring dependences within an unordered set of variables. We prove concentration inequalities, that apply to any set of random variables, but benefit from the presence of weak dependencies. We also discuss applications and extensions of our results to related problems of machine learning and large deviations.

연구 동기 및 목표

• 기존의 농도 부등식이 독립성 또는 시간 순서 혼합 과정을 가정하는 데서 비롯하는 한계를 해결하고자 한다. 이는 순서가 없는 종속 시스템에는 적용되지 않는다.
• 이진 독립성 이상의 종속성 강도를 캡처할 수 있는 종속도 측도를 개발하여 더 날카운 부등식을 가능하게 하고자 한다.
• 독립된 구성요소나 시간적 구조가 필요 없이도 임의의 랜덤 변수 집합에서 약한 종속성을 반영하는 농도 부등식을 제공하고자 한다.
• 기계 학습 및 통계 물리학 분야의 실용적 응용(예: 이징 모델, 캐스케이드 프로세스)으로 이론적 결과를 확장하고자 한다.

제안 방법

• 공동 분포와 주변 분포의 곱 사이의 근사 오차를 기반으로 한 새로운 종속도 측도를 제안하며, 이는 α-분리 계수를 통해 정량화된다.
• 임계값 γ를 초과하는 종속성 강도일 경우에만 간선을 유지하는 임계값을 적용한 종속성 그래프의 개념을 도입하여 종속성 구조의 소프트 커버를 형성한다.
• 임계값을 적용한 종속성 그래프의 색칠 수 χγ(A)를 농도를 제어하는 핵심 매개변수로 정의하며, 독립 구성요소 방법에서 사용되는 전통적 색칠 수를 일반화한다.
• χγ(A)에 의존하는 하위-가우시안 항과 종속성 강도(γ)에 따라 감소하는 항을 조합한 새로운 농도 부등식(정리 2)을 유도한다. 이는 고전적 방법보다 더 날카운 부등식을 제공한다.
• 실험 평균이 기대값에서 벗어남을 종속성 구조를 이용해 근사하는 데 사용되는 근사 정리(정리 1)를 적용한다.
• 구체적 모델(예: 격자 시스템(예: 이징 모델), 독립 캐스케이드 모델)에서 프레임워크를 검증하여, 거리 또는 임계값 매개변수에 대해 편차 확률이 지수적으로 감소하는 것을 보였다.

실험 결과

연구 질문

• RQ1 종속성의 존재뿐 아니라 강도를 고려함으로써 종속 랜덤 변수의 합에 대한 농도 부등식을 향상시킬 수 있는가?
• RQ2 공동 분포가 주변 분포의 곱과 얼마나 가까운지를 반영할 수 있는, 순서가 없는 랜덤 변수 집합에 대한 종속도 측도는 어떻게 정의할 수 있는가?
• RQ3 소프트 커버와 임계값을 적용한 그래프를 활용해, 임의의 종속성 구조를 가진 비.i.i.d. 설정으로 기존의 농도 부등식을 일반화할 수 있는가?
• RQ4 종속성이 약할 경우, 허프딩의 부등식이나 색칠 수에 기반한 결과와 비교해 유도된 부등식이 얼마나 향상되는가?
• RQ5 이 프레임워크는 마르코프 무작위 필드나 캐스케이드 프로세스와 같은 실제 모델에 적용 가능하며, 성능 보증이 보장되는가?

주요 결과

• 논문은 하위-가우시안 항과 γ에 대한 감소 항을 조합한 새로운 농도 부등식(식 4)를 수립하였으며, 종속성이 약할 경우 허프딩의 부등식보다 더 날카운 부등식을 제공한다.
• 2차원 격자 위의 이징 모델에서, 유도된 부등식(식 67)은 그룹 간 거리 ν에 대해 편차 확률이 지수적으로 감소함을 보이며, 이는 스펙트럼 갭 매개변수 λ에 의해 제어된다.
• 독립 캐스케이드 모델에서, α-계수들이 그래프 거리에 따라 지수적으로 감소한다는 추측 하에, 부등식(식 70)은 임계값 그래프의 색칠 수 χd에 따라 지수적 농도를 달성한다.
• 근사 정리(정리 1)는 α-분리 계수가 작을 경우 랜덤 변수 집합의 공동 분포가 주변 분포의 곱에 잘 근사됨을 증명하며, 이는 부등식의 이론적 기반을 제공한다.
• 이 프레임워크는 기존 결과를 일반화한다: 독립적인 경우 허프딩의 부등식을 복원하며, 종속성 강도를 통합함으로써 색칠 수 기반 부등식보다 개선된다.
• 이 방법은 종속성이 약하지만 마르코프가 아닌 상황(예: 격자 모델, 캐스케이드 프로세스)에서 공간적 또는 구조적 분리의 특성을 활용하여 더 날카운 농도를 가능하게 한다.