[논문 리뷰] Global-Local Mixtures

Anindya Bhadra, Jyotishka Datta외 2명|arXiv (Cornell University)|2016. 04. 26.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 4

한 줄 요약

이 논문은 코시-슐로밀히트 및 리우빌 적분 변환을 사용하여 글로벌-로컬 척도 혼합 분포를 구성하는 새로운 프레임워크를 제안한다. 이를 통해 라플라스(라소), 로지스틱, 분위수 페널티와 같은 잘 알려진 분포의 닫힌 형태 표현을 가능하게 한다. 주요 기여는 분석적으로 다룰 수 있는 글로벌-로컬 혼합 분포를 체계적으로 유도하는 방법으로, 베이지안 정규화 및 컨volution 모델에 적용된다.

ABSTRACT

Global-local mixtures are derived from the Cauchy-Schlomilch and Liouville integral transformation identities. We characterize well-known normal-scale mixture distributions including the Laplace or lasso, logit and quantile as well as new global-local mixtures. We also apply our methodology to convolutions that commonly arise in Bayesian inference. Finally, we conclude with a conjecture concerning bridge and uniform correlation mixtures.

연구 동기 및 목표

• 적분 변환 항등식을 사용하여 글로벌-로컬 척도 혼합 분포를 구성하는 일반적인 방법을 개발하는 것.
• 라플라스, 로지스틱, 분위수 페널티와 같은 알려진 분포를 분석적 유도를 통해 글로벌-로컬 혼합 분포로 특성화하는 것.
• 베이지안 추론에서 발생하는 컨volution에 프레임워크를 확장하여 후행 분포 계산이 가능하도록 하는 것.
• 브릿지 및 균일 상관 혼합 분포도 이러한 변환 항등식에서 유래할 수 있으며, 더 넓은 적용 가능성을 제안하는 것.
• 고차원 모델에서 특히 중요한, 스케일 혼합 분포에 대한 통합 이론적 기반을 제공하는 것.

제안 방법

• 코시-슐로밀히트 변환: ∫₀^∞ f((ax − b/x)²)dx = (1/(2a))∫₀^∞ f(y²)dy 를 사용하여 새로운 글로벌-로컬 혼합 분포를 도출한다.
• 리우빌 변환: ∫₀^∞ f(ax + b/x)x⁻¹/²dx = a⁻¹/²∫₀^∞ f(2(ab)¹/² + y)y⁻¹/²dy 를 사용하여 척도 혼합 분포를 생성한다.
• 자기역행 함수 s(x) = b/x 또는 s(x) = −a⁻¹log(1 − eᵃˣ) 를 사용하여 변환 항등식을 일반화한다.
• 킨친의 정리와 그 확장형을 적용하여 단변량 및 다변량 분포로부터 형태 2g{t(x)}의 단모드 밀도를 생성한다.
• 레비의 항등식과 라플라스 변환을 사용하여 라소 페널티를 정규-척도 혼합 분포로 유도한다. ∫₀^∞ e⁻ᶜ⁽ᵗ⁻ᵗ⁻¹⁾² dt = (π/(2c))¹/² e⁻²ᶜ.
• 안정분포 및 지수 거듭제곱 분포가 정규 척도 혼합 표현을 갖는다는 것을 입증하여, 베이지안 브릿지 회귀와 연결한다.

실험 결과

연구 질문

• RQ1 코시-슐로밀히트 및 리우빌 항등식을 체계적으로 사용하여 닫힌 형태의 글로벌-로컬 혼합 분포를 도출할 수 있는가?
• RQ2 이러한 적분 항등식은 라소 및 로지스틱 페널티와 같은 고전적 정규화 페널티를 어떻게 표현하는가?
• RQ3 단위 분산을 가진 이元정규 분포의 균일 상관 혼합 분포와 최대 노름 사이의 관계는 무엇이며, 이러한 변환으로부터 도출될 수 있는가?
• RQ4 대칭 안정분포 및 지수 거듭제곱 분포는 이러한 항등식을 통해 글로벌-로컬 혼합 분포로 유도되는가?
• RQ5 이 프레임워크는 스케일 혼합 모델에서 고차원 모멘트 및 다변량 의존성 구조를 생성하는 데 확장될 수 있는가?

주요 결과

• 코시-슐로밀히트 항등식을 통해 라플라스(라소) 페널티가 ∫₀^∞ e⁻ᶜ⁽ᵗ⁻ᵗ⁻¹⁾² dt = (π/(2c))¹/² e⁻²ᶜ 를 통해 글로벌-로컬 척도 혼합 분포로 도출됨을 입증한다.
• 라소 페널티는 감마 혼합 분포를 갖는 정규-척도 혼합 분포에서 유도됨을 보이며, 항등식 ∫₀^∞ (a/(2π)¹/² t⁻³/²) e⁻ᵃ²/(²ᵗ) e⁻λᵗ dt = e⁻ᵃ⁽²λ⁾¹/² 를 통해 이를 입증한다.
• 로지스틱 분포는 변환 프레임워크에서 로지스틱 누적분포함수의 역함수를 사용하여 글로벌-로컬 혼합 분포로 도출된다.
• 단위 분산을 가진 이원정규분포의 균일 상관 혼합 분포는 (1/2)(1 − Φ(||x||∞)) 와 동일함을 입증한다. 여기서 Φ는 표준 정규 CDF이다.
• 에르델리의 적분 항등식 ∫₁/²^∞ e⁻ˣ²ᶻ / (4πz(2z−1)¹/²) dz = (1/2)(1 − Φ(x)) 는 라플라스 변환과 치환을 통해 증명되며, 이는 균일 상관 결과와 연결된다.
• 논문은 대칭 안정분포 및 지수 거듭제곱 밀도가 코시-슐로밀히트 공식으로부터 도출될 수 있으며, 베이지안 브릿지 회귀에 대한 함의를 제안한다.