[논문 리뷰] Generalization Error Bounds Via Rényi-, $f$-Divergences and Maximal Leakage

Amedeo Roberto Esposito, Michael Gastpar외 1명|arXiv (Cornell University)|2019. 12. 01.

Distributed Sensor Networks and Detection Algorithms참고 문헌 30인용 수 15

한 줄 요약

이 논문은 레니, f-발산 및 최대 유출을 활용하여 종속된 난수 변수에 대한 일반화 오차 한계를 유도함으로써, 허프딩의 정리와 맥도얼드의 정리와 같은 고전적 부등식을 적응형 및 종속된 설정으로 확장한다. 주요 기여는 최대 유출을 사용한 강건한 한계로, 이는 적응형 데이터 분석에서 잘 조합되며 비i.i.d. 상황으로 일반화된다.

ABSTRACT

In this work, the probability of an event under some joint distribution is bounded by measuring it with the product of the marginals instead (which is typically easier to analyze) together with a measure of the dependence between the two random variables. These results find applications in adaptive data analysis, where multiple dependencies are introduced and in learning theory, where they can be employed to bound the generalization error of a learning algorithm. Bounds are given in terms of Sibson's Mutual Information, $α-$Divergences, Hellinger Divergences, and $f-$Divergences. A case of particular interest is the Maximal Leakage (or Sibson's Mutual Information of order infinity), since this measure is robust to post-processing and composes adaptively. The corresponding bound can be seen as a generalization of classical bounds, such as Hoeffding's and McDiarmid's inequalities, to the case of dependent random variables.

연구 동기 및 목표

• 순차적 질의로 인해 질의 간 종속성이 발생하는 적응형 데이터 분석에서 일반화 오차 한계를 제공하는 것.
• 의존성 측정을 위해 발산 측도를 사용하여 고전적 체중 불등식(예: 허프딩의 정리, 맥도얼드의 정리)을 종속된 난수 변수가 있는 설정으로 확장하는 것.
• 후처리에 강건하고 적응적으로 조합 가능한 한계를 개발하여 적응형 데이터 분석에서 메커니즘을 분석하는 데 필수적인 것.
• Luxemburg 및 Amemiya 노름을 사용하여 레니, f-발산, 헬링거 발산 등의 다양한 발산 기반 한계를 단일 이론적 프레임워크 아래 통합하는 것.
• 정보 이론적 종속 측도와 학습 알고리즘에서의 일반화 오차 사이의 연결 고리를 설정하는 것.

제안 방법

• 공통 분포 $\mathcal{P}$ 와 주변 분포의 곱인 $\mathcal{Q}$ 를 사용하여 $\mathcal{P}(E) \leq f(\mathcal{Q}(E)) \cdot g(d\mathcal{P}/d\mathcal{Q})$ 형태의 일반적 한계를 유도한다.
• Luxemburg 및 Amemiya 노름을 적용하여 $f$-발산 및 레니 발산 기반의 한계를 도출함으로써 유연한 종속성 정량화를 가능하게 한다.
• Sibson의 순서 $\alpha$ 의 상호정보를 종속성 측도로 사용하며, 특히 $\alpha \to \infty$ 의 극한에 초점을 맞춘다. 이는 최대 유출에 해당한다.
• 볼록 쌍대성 및 이중성 방법을 사용하여 헬링거 발산 및 $f$-상호정보를 포함하는 한계를 도출한다.
• 최대 유출 기반 한계가 독립성 하에서 고전적 부등식으로 줄어들며, 이는 그 일반성의 타당성을 검증한다.
• 최대 유출이 후처리에 강건하고 적응적으로 조합 가능하다는 것을 입증하여, 적응형 데이터 분석에 이상적임을 보여준다.

실험 결과

연구 질문

• RQ1 서로 다른 난수 변수가 독립이 아닌 상황에서 일반화 오차를 어떻게 한정할 수 있는가?
• RQ2 레니 및 $f$-발산을 사용하여 학습 알고리즘에서 통계적 종속성을 고려한 더 날카운 한계를 도출할 수 있는가?
• RQ3 적응형 데이터 분석에서 유용한 종속성 측도가 만족해야 할 조건은 무엇이며, 최대 유출은 이러한 조건을 충족하는가?
• RQ4 제안된 프레임워크는 허프딩의 정리나 맥도얼드의 정리와 같은 고전적 체중 불등식을 종속된 설정으로 어떻게 일반화하는가?
• RQ5 최대 유출 기반 한계는 효율적으로 계산 가능하며, 노이즈가 추가된 실용적 학습 메커니즘에 적용 가능한가?

주요 결과

• 레니 발산의 순서 $\alpha > 1$ 를 사용하여 일반적 한계를 도출하였으며, $\mathcal{P}_{XY}(E) \leq \mathcal{P}_X\mathcal{P}_Y(E)^{\frac{\alpha-1}{\alpha}} \cdot \exp\left(\frac{\alpha-1}{\alpha} D_\alpha(\mathcal{P}_{XY} \| \mathcal{P}_X\mathcal{P}_Y)\right)$ 라는 결과를 도출하였다.
• 최대 유출($\alpha \to \infty$)의 경우, 한계는 $\mathcal{P}_{XY}(E) \leq \mathcal{P}_X\mathcal{P}_Y(E) \cdot \exp\left(\mathcal{L}(X \to Y)\right)$ 로 단순화되며, 이는 강건하고 적응적으로 조합 가능하다.
• 헬링거 발산의 순서 $\alpha$ 를 사용한 한계는 $\phi_\alpha(t) = \frac{t^\alpha - 1}{\alpha - 1}$ 의 볼록 쌍대 함수를 통해 유도되었으며, 이는 발산에 대한 유사한 지수적 의존성 구조를 보였다.
• 최대 유출 측도는 $\mathcal{L}(X \to Y) = \log \sum_y \max_{x: P(x)>0} P_{Y|X}(y|x)$ 를 통해 계산 가능하며, 노이즈가 추가된 학습 알고리즘에 실용적으로 적용 가능하다.
• $\mathcal{P}_{XY} = \mathcal{P}_X\mathcal{P}_Y$ 인 경우, 한계는 고전적 체중 불등식으로 줄어들며, 일관성의 타당성을 검증한다.
• 이 프레임워크는 연속성 조건을 만족하는 임의의 확률 측도 쌍에 적용 가능하며, 공동 및 곱 측도에 국한되지 않는다.