[논문 리뷰] An extension of McDiarmid's inequality

Richard Combes|arXiv (Cornell University)|2015. 11. 17.

Mathematical and Theoretical Analysis인용 수 6

한 줄 요약

이 논문은 맥디아미드 부등식을 전체 정의역이 아닌 고확률 부분집합에서 유한한 차분을 가지는 함수로 확장한다. 함수의 리프시츠 확장을 구축하고, 확장된 함수에 대해 농도 이론을 적용함으로써, 원래 함수가 부분집합 조건부 기대값 주위에 농도를 보임을 보여주는 경계를 유도한다. 이 경계는 부분집합의 확률과 직경에 대한 수정 항을 포함한다. 주요 결과는 메트릭 공간으로의 농도 이론 일반화를 가능하게 하며, 부분집합 외부에서의 임의의 행동을 다룰 수 있다.

ABSTRACT

We generalize McDiarmid's inequality for functions with bounded differences on a high probability set, using an extension argument. Those functions concentrate around their conditional expectations. We further extend the results to concentration in general metric spaces.

연구 동기 및 목표

• 유한한 차분 성질이 전체 영역이 아닌 고확률 부분집합에서만 성립할 경우 맥디아미드 부등식의 한계를 해결하기 위해.
• 고확률 집합 외부에서 유계이거나 비정상적인 행동을 할 수 있는 함수의 농도 경계를 설정하기 위해.
• 리프시츠 확장 기법을 사용하여 유한한 차분 프레임워크를 일반 메트릭 공간으로 일반화하기 위해.
• 부분집합의 확률과 메트릭 구조를 고려한 더 날카르고 강건한 농도 부등식을 제공하기 위해.

제안 방법

• 정의역 X의 부분집합 Y ⊂ X에서 c-유한 차분을 가지는 함수를 정의한다. 여기서 차분은 입력값이 하나의 좌표를 제외하고 동일할 때만 유한하다.
• 가중 히든 거리 d_c를 사용하여 g(x) = inf_{y∈Y} {f(y) + d_c(x,y)}로 정의된 리프시츠 확장을 구성함으로써, g는 d_c에 대해 1-리프시츠 성질을 갖는다.
• 전체 확률의 법칙을 사용하여 꼬리 확률 P[f(X) - E[f(X)|X∈Y] ≥ ε + p·c̄]를 두 부분으로 분해한다: X∈Y와 X∉Y.
• 확장된 함수 g에 대해 맥디아미드의 부등식을 적용함으로써 지수 꼬리 경계를 도출한다. 이 함수는 전체 영역에서 유한한 차분을 갖는다.
• 커플링 기법과 조건부 분포 간의 와서스타인 거리를 사용하여 g의 기대값을 경계함으로써, p와 공간의 직경을 포함한 수정 항을 도출한다.
• 가중 히든 거리를 일반 메트릭 d로 대체하고 동일한 확장 및 커플링 기법을 사용함으로써 결과를 일반 메트릭 공간으로 일반화한다.

실험 결과

연구 질문

• RQ1 유한한 차분 성질이 고확률 부분집합에서만 성립할 경우 맥디아미드 부등식을 확장할 수 있는가?
• RQ2 이러한 경우 함수는 무조건 기대값이 아닌 조건부 기대값 주위에 여전히 농도를 보이는가?
• RQ3 함수가 고확률 집합 외부에서 임의일 경우 농도 경계는 어떻게 정량화할 수 있는가?
• RQ4 이 프레임워크는 곱 공간을 초월하여 일반 메트릭 공간으로 일반화될 수 있는가?
• RQ5 부분집합의 확률과 메트릭 구조는 농도 속도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 유한한 차분 성질이 고확률 집합 Y에서 성립할 경우, 함수 f는 E[f(X)]가 아닌 E[f(X)|X∈Y] 주위에 농도를 보인다.
• 주요 경계는 P[f(X) - E[f(X)|X∈Y] ≥ ε + p·c̄] ≤ p + exp( -2ε² / ∑c_i² )이며, 여기서 p = P[X∉Y]이고 c̄ = ∑c_i이다.
• 수정 항 p·c̄는 Y 외부에서 f의 행동을 반영하며, 지수 항은 Y 내부에서의 농도를 캡처한다.
• 일반적인 설정에서 p = a^{-n}이고 c_i = b/n일 경우, 지수 항은 맥디아미드의 원래 경계와 일치하여 날카로움을 유지한다.
• 가중 히든 거리를 일반 메트릭 d로 대체하고, 수정 항에 와서스타인 거리를 사용함으로써 결과는 일반 메트릭 공간으로 확장된다.
• p가 작고 메트릭 구조가 제어된다면, f가 Y 외부에서 무한대일지라도 경계는 여전히 의미 없는 값이 아니다.