[논문 리뷰] Natural Exponential Families With Reduction Functions and Resolution of A Conjecture

Xiongzhi Chen|arXiv (Cornell University)|2015. 10. 14.

Advanced Statistical Methods and Models인용 수 2

한 줄 요약

이 논문은 한 매개변수 자연지수족(NEF)에서 분산 함수에 대한 오랫동안 남아있던 추측을 해결한다. 다항식이 0을 단순근으로 가지며, 양의 허수부를 가진 복소근을 가지는 경우, 그 다항식이 평균 정의역 (0, ∞)을 가진 NEF를 생성하는 것은 그 복소근의 실부가 비음이 아닐 때에 한하여 참임을 증명한다. 또한, 절대연속적인 유도 측도를 가진 무한히 나누어떨어지는 NEF에 대해 결정론적 감소 함수 h가 존재함을 입증하여, h(ξ)가 Var(ξ)의 불편 추정량이 되도록 함으로써 고차원 데이터에서 분산 추정과 차원 감소를 가능하게 한다.

ABSTRACT

One-parameter natural exponential family (NEF) plays fundamental roles in probability and statistics. This article contains two independent results: (a) A conjecture of Bar-Lev, Bshouty and Enis states that a polynomial with a simple root at $0$ and a complex root with positive imaginary part is the variance function of some NEF with mean domain $\left(0,\infty ight)$ if and only if the real part of the complex root is not positive. This conjecture is resolved. The positive answer to this conjecture enlarges existing family of polynomials that are able to generate NEFs, and it helps prevent practitioners from choosing incompatible functions as variance functions for statistical modeling using NEFs. (b) if a random variable $\xi$ has parametric distributions that form a infinitely divisible NEF whose induced measure is absolutely continuous with respect to its basis measure, then there exists a deterministic function $h$, called function, such that $\mathbb{E} \left(h\left(\xi ight) ight)=\mathbb{V}\left(\xi ight)$, i.e., $h\left(\xi ight)$ is an unbiased estimator of the variance of $\xi$. The reduction function has applications to estimating latent, low-dimensional structures and to dimension reduction in the first and/or second moments in high-dimensional data.

연구 동기 및 목표

• Bar-Lev, Bshouty, Enis가 제기한, 특정 다항식이 유효한 NEF를 생성하고 평균 정의역 (0, ∞)을 가질 조건에 관한 추측을 해결하기 위함.
• 절대연속적인 유도 측도를 가진 무한히 나누어떨어지는 NEF에 대해 결정론적 감소 함수 h가 존재함을 입증하여, E[h(ξ)] = Var(ξ)임을 보장하기 위함.
• NEF 기반 통계 모델링에서 분산 함수로 사용할 수 있는 다항식의 범위를 확장하기 위함.
• 고차원 데이터의 1차 및 2차 모멘트에서 잠재적인 저차원 구조를 추정하고 차원 감소를 가능하게 하는 이론적 도구를 제공하기 위함.

제안 방법

• 복소해석학 및 자연지수족의 성질을 활용하여, 분산 함수의 복소근의 위치에 초점을 맞춰 추측을 증명함.
• 분산 함수의 구조를 평균 정의역과 분산 생성 다항식의 근들 사이의 상호작용 분석을 통해 특성화함.
• 절대연속적인 유도 측도를 가진 무한히 나누어떨어지는 NEF에 대해, E[h(ξ)] = Var(ξ)를 만족하는 결정론적 함수 h가 존재함을 입증함.
• 측도 이론적 추론을 활용하여, 유도 측도가 기저 측도에 대해 절대연속일 경우 그러한 감소 함수 h의 존재를 보장함.
• NEF가 평균 정의역 (0, ∞)을 가질 수 있도록 복소근의 실부가 음이 아닐 조건을 도출함.
• 감소 함수 h를 고차원 환경에서 분산 추정에 적용하여, 1차 및 2차 모멘트의 차원 감소를 가능하게 함.

실험 결과

연구 질문

• RQ1 어떤 조건에서 다항식의 근이 NEF의 유효한 분산 함수가 되며, 평균 정의역 (0, ∞)을 가질 수 있는가?
• RQ2 0을 단순근으로 가지며, 양의 허수부를 가진 복소근을 가진 모든 다항식은 그 복소근의 실부가 음이 아닐 때에 한하여, 평균 정의역 (0, ∞)을 가진 NEF를 생성하는가?
• RQ3 절대연속적인 유도 측도를 가진 무한히 나누어떨어지는 NEF에 대해, E[h(ξ)] = Var(ξ)를 만족하는 결정론적 함수 h를 구성할 수 있는가?
• RQ4 이러한 감소 함수는 고차원 데이터에서 잠재적인 저차원 구조를 추정하는 데 어떻게 활용될 수 있는가?
• RQ5 이러한 감소 함수의 존재는 통계 모델링에서 분산 추정 및 차원 감소에 어떤 영향을 미치는가?

주요 결과

• 추측이 확인됨: 0을 단순근으로 가지며, 양의 허수부를 가진 복소근을 가진 다항식은 그 복소근의 실부가 양이 아닐 때에 한하여, 평균 정의역 (0, ∞)을 가진 NEF의 유효한 분산 함수가 됨.
• 이 추측의 해결으로 인해 NEF를 생성할 수 있는 다항식의 범위가 크게 확장되어, NEF 기반 모델링의 유연성이 향상됨.
• 기저 측도에 대해 절대연속적인 유도 측도를 가진 임의의 무한히 나누어떨어지는 NEF에 대해, E[h(ξ)] = Var(ξ)를 만족하는 결정론적 함수 h가 존재함.
• 이 감소 함수 h는 ξ의 분산을 편향 없이 추정할 수 있도록 하여, 통계적 추론을 위한 새로운 도구를 제공함.
• 감소 함수 h는 고차원 데이터의 1차 및 2차 모멘트에서 잠재적인 저차원 구조를 추정함으로써, 차원 감소를 촉진함.
• 이론적 결과는 NEF 기반 통계 모델에서 부적절한 분산 함수의 사용을 방지하여, 모델의 타당성을 향상시킴.