[논문 리뷰] Extending Owen's integral table and a new multivariate Bernoulli distribution

Marcelo Hartmann|arXiv (Cornell University)|2017. 04. 16.

Statistical Distribution Estimation and Applications참고 문헌 3인용 수 3

한 줄 요약

이 논문은 오웬의 적분 표를 확장하여 표준 정규 누적분포함수와 정규 밀도의 곱을 포함하는 새로운 다변량 정규 적분 항등식을 유도함으로써, 다변량 베르누이 분포의 닫힌 형태 계산을 가능하게 한다. 주요 기여는 잠재 정규 변수를 통해 성공 확률이 결정되는 새로운 다변량 베르누이 모델을 제안하는 것으로, 이 모델의 주변 확률 밀도는 구조화된 공분산 행렬을 가진 다변량 정규 누적분포함수로 표현될 수 있다.

ABSTRACT

We extend some equatilites in the Owen's table of normal integrals (A table of normal integrals in Communication in Statistics-Simulation and Computation, 1980). Furthermore a new probabilistic model for a vector of binary random variables is proposed.

연구 동기 및 목표

• 표준 정규 누적분포함수를 포함하는 다변량 가우시안 적분에 대한 새로운 닫힌 형태 해를 도출하여 오웬의 적분 표를 확장하는 것.
• 성공 확률이 표준 정규 누적분포함수를 통해 잠재 정규 변수와 연결되는 새로운 다변량 베르누이 분포를 개발하는 것.
• 이전에는 수치적 적분 기법이 필요로 했던 적분에 대해 분석적 해를 제공함으로써 가우시안 프로세스 모델 및 프로빗 회귀와 같은 적용 분야에서의 계산 효율성을 향상시키는 것.
• 이산 잠재 변수 모델의 주변 가능도와 다변량 정규 누적분포함수 사이의 연결 고리를 설정하는 것.

제안 방법

• 표준 정규 누적분포함수의 곱과 정규 밀도의 곱의 적분에 대한 일반적인 항등식을 유도하며, 이가 특정 공분산 행렬을 가진 다변량 정규 누적분포함수와 동일하다는 것을 보임.
• 보조 변수를 사용한 변수 변환을 통해 결합 밀도를 재표현함으로써 다변량 정규 구조를 식별할 수 있도록 함.
• 분할된 행렬 역행렬 및 행렬 행렬식 레미를 적용하여 도출된 다변량 정규 분포의 공분산 행렬을 유도함.
• 각 이진 결과가 잠재 정규 변수를 통해 표준 정규 누적분포함수로 연결되는 새로운 다변량 베르누이 모델을 도입함.
• 자기 밀도와 이진 결과의 결합 분포를 자코비안 조정을 통해 변환함으로써, 주변 분포가 구조화된 공분산 행렬을 가진 다변량 정규 누적분도함수로 표현됨을 도출함.
• 이진 벡터의 주변 확률이 평균 -I_y μ, 공분산 I_N + I_y Σ I_y를 가진 다변량 정규 누적분포함수임을 증명함.

실험 결과

연구 질문

• RQ1 오웬의 적분 표는 표준 정규 누적분포함수의 곱과 정규 밀도를 포함하는 다변량 적분을 포함하도록 확장될 수 있는가?
• RQ2 적분 ∫ℝ ∏_{r=1}^N Φ((x−m_r)/v_r) N(x|μ,σ²) dx의 해석적 형태는 무엇인가?
• RQ3 잠재 정규 변수를 가진 계층적 가우시안-베르누이 모델에서 새로운 다변량 베르누이 분포를 도출할 수 있는가?
• RQ4 각 성분이 조건부 독립 베르누이 분포를 따르며 성공 확률이 Φ(f_r)인 다변량 이진 벡터의 주변 분포는 무엇인가, 여기서 f_r는 정규 분포를 따른다?
• RQ5 결과 주변 가능도는 구조화된 공분산 행렬을 가진 다변량 정규 누적분포함수로 어떻게 표현될 수 있는가?

주요 결과

• 적분 ∫ℝ ∏_{r=1}^N Φ((x−m_r)/v_r) N(x|μ,σ²) dx 는 F_N(μ 1_N | m_N, V_N) 와 동일하며, 여기서 V_N 의 대각성분은 v_r² + σ², 비대각성분은 σ²이다.
• Y_r | f_r ~ Bernoulli(Φ(f_r)) 이고 f ~ N(μ, Σ) 인 다변량 이진 벡터 Y의 주변 분포는 π_Y(y) = F_N(0 | -I_y μ, I_N + I_y Σ I_y) 로 표현된다.
• N=2, μ = [0,0]^T, σ₁²=σ₂²→0, σ₁₂=1/2 인 경우, 확률은 π(1,1)=π(-1,-1)=1/3 이고 π(1,-1)=π(-1,1)=1/6 로 나타나, 알려진 이元정규 분포의 사분면 확률과 일치한다.
• 이 방법은 이전에는 수치적 적분 기법으로 계산되었던 적분에 대해 닫힌 형태의 해를 제공함으로써, 베이지안 모델에서 계산 효율성을 향상시킨다.
• 유도된 다변량 베르누이 분포는 잠재 정규 변수의 평균 및 공분산의 모든 구조에 대해 유효하다.
• z = I_y f 를 통한 변환과 자코비안 조정을 통해 주변 분포가 평균 −I_y μ, 공분산 I_N + I_y Σ I_y 를 가진 다변량 정규 누적분포함수임을 확인함.