[논문 리뷰] Dirichlet draws are sparse with high probability

Matus Telgarsky|arXiv (Cornell University)|2013. 01. 21.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 9

한 줄 요약

이 논문은 α = 1/n 인 Dirichlet 분포에서의 샘플이 일반적으로 희소함을 엄밀한 확률론적 분석을 통해 보여준다. 즉, 어떤 다항식 임계값 n^{-c₀}을 초과하는 좌표의 수는 일반적으로 로그 수준이다. Gamma 표현과 Chernoff 한계를 사용하여, 높은 확률로 큰 좌표의 수가 ln(n)에 대해 선형적으로 증가함을 증명함으로써, 머신러닝에서의 경험적 관찰을 확인하고, 희소 사전 분포에 대한 날카운 농도 경계를 제공한다.

ABSTRACT

This note provides an elementary proof of the folklore fact that draws from a Dirichlet distribution (with parameters less than 1) are typically sparse (most coordinates are small).

연구 동기 및 목표

• 작은 매개수를 가진 Dirichlet 샘플이 희소함을 공식적으로 입증함으로써 머신러닝에서 흔히 발생하는 고차원 설정에서 널리 알려진 주장에 기초를 두는 것.
• 희소성 임계값(n^{-c₃})과 그 값을 초과하는 좌표 수 사이의 트레이드오프를 ln(n)의粗잡기 한계를 넘어서 정량화하는 것.
• α = 1/n² 인 Dirichlet 분포의 거동를 분석하여, 일반적으로 비중이 없는 좌표 수가 상수 수준에 불과함을 보여주는 것.
• 실제 모델 설계에 적용 가능한, 비점근적이고 날카운 농도 경계를 제공하여 Dirichlet 샘플에서 큰 좌표의 수에 대한 농도 경계를 제공하는 것.

제안 방법

• 표준 Dirichlet-Gamma 표현을 사용: Dir(α) ≡ (Y₁/ΣYᵢ, ..., Yₙ/ΣYᵢ) where Yᵢ ∼ Gamma(α).
• Gamma 누적분포함수에 대한 스케일링 부등식을 적용: z ≥ 1 인 경우 Pr[Gamma(α) ≤ zc] ≤ z^α Pr[Gamma(α) ≤ c].
• 스케일된 Gamma 변수를 기반으로 한 임계값 이벤트를 정의하여, 너무 많은 좌표가 ε = n^{-c₃}을 초과할 확률을 제한한다.
• Yᵢ > c 인 지표 합에 대해 Chernoff 한계를 적용하여 큰 값의 수를 제어한다.
• 합의 尾확률과 개별 꼬리 확률에 대한 경계를 조합하여, 최대 k개의 좌표가 ε을 초과할 확률에 하한을 구한다.
• 모든 결과의 핵심 부등식으로서 Pr[|{i: Xᵢ ≥ ε}| ≤ k] ≥ 1 - ε^{-nα}e^{-(k+1)/3} - e^{-4(k+1)/9} 를 사용한다.

실험 결과

연구 질문

• RQ1 Dir(1/n) 샘플에서, 고려할 만한 확률(1 - 1/n^{c₀})로 초과하는 좌표의 수는 얼마나 되는가? 임계값 n^{-c₀}을 초과하는 데.
• RQ2 큰 좌표의 수가 n에 대해 로그적으로 의존하는 것이 엄밀하게 경계될 수 있는가? 그리고 가능한 한 가장 날카운 경계는 무엇인가?
• RQ3 Dirichlet 매개수를 α = 1/n²로 감소시켰을 때, 희소성의 상태는 어떻게 변화하며, 이는 비중이 없는 좌표 수가 상수 수준이 되는가?
• RQ4 일반적인 경우에서, 희소성 임계값, 큰 좌표의 수, 신뢰 수준 사이의 상호작용은 어떻게 되는가?
• RQ5 이 분석을 ln(n) 이하의 임계값, 예를 들어 역 Ackermann 함수를 포함하는 경우로 확장할 수 있는가?

주요 결과

• Dir(1/n)에 대해, 높은 확률(1 - 1/n^{c₀})로, n^{-c₀}을 초과하는 좌표 수는 최대 6c₀ ln(n) 이하이다.
• α = c₁/n 일 경우, n^{-c₃}을 초과하는 좌표 수는 확률 적어도 1 - (1/n)^{(c₂/3) - c₁c₃}/e^{1/3} - (1/n)^{4c₂/9}/e^{4/9} 로 c₂ ln(n) 이하이다.
• α = 1/n² 일 경우, 확률 적어도 0.64로, n^{-2}를 초과하는 좌표 수는 최대 5개 이하이다.
• 임의의 함수 g(n)에 대해, 최대 ln(g(n))개의 좌표가 n^{-2}를 초과할 확률은 1 - e^{2/e - 1/3} (1/g(n))^{1/3} - e^{-4/9} (1/g(n))^{4/9} 이하이다.
• 시뮬레이션 결과는 ln(n) 스케일링이 증명의 산물이 아니며, 임계값 지수와 큰 좌표 수 사이의 선형 관계를 보여주어, 이는 ln(n) 스케일링이 본질적임을 확인한다.
• α 가 작을수록, 특히 α = 1/n² 일 경우 경계가 날카로워지며, 높은 확률로 비중이 없는 좌표 수가 상수 수준에 머무름을 보여준다.