[논문 리뷰] Permutation-based uncertainty quantification about a mixing distribution

Vaidehi Dixit, Ryan Martin|arXiv (Cornell University)|2019. 06. 12.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 6

한 줄 요약

이 논문은 예측 재귀 알고리즘을 사용한 혼합 분포의 비모수적 추정에서의 불확실성 정도를 순열 기반 방법으로 측정하는 것을 제안한다. 알고리즘이 데이터 순서에 내재된 의존성에 기반한다는 점을 활용하여, 데이터 순열을 재표본화함으로써 신뢰구간을 생성함으로써 시뮬레이션에서 약간의 유효한 빈도주의 커버리지 확률을 달성한다.

ABSTRACT

Nonparametric estimation of a mixing distribution based on data coming from a mixture model is a challenging problem. Beyond estimation, there is interest in uncertainty quantification, e.g., confidence intervals for features of the mixing distribution. This paper focuses on estimation via the predictive recursion algorithm, and here we take advantage of this estimator's seemingly undesirable dependence on the data ordering to obtain a permutation-based approximation of the sampling distribution which can be used to quantify uncertainty. Theoretical and numerical results confirm that the proposed method leads to valid confidence intervals, at least approximately.

연구 동기 및 목표

• 유한 표본 설정에서 혼합 분포의 비모수적 추정에 대한 불확실성 측정 방법의 부족을 해결하기 위해.
• 예측 재귀 추정기의 순서에 의존하는 성질을 제한이 아닌 통계적 추론 도구로 활용하기 위해.
• 혼합 밀도의 특징에 대한 신뢰구간을 구성하기 위한 계산적으로 실현 가능한 방법을 개발하기 위해.
• 다양한 혼합 밀도와 커널에 걸쳐 시뮬레이션 실험을 통해 방법의 빈도주의 커버리지 성질을 검증하기 위해.

제안 방법

• 데이터 순서를 순열하여 다수의 예측 재귀 추정치를 생성함으로써 추정기의 순열 기반 표집 분포를 생성한다.
• 순열 기반 추정치의 경험적 분산을 사용하여 예측 재귀 추정기의 진정한 표집 분산을 근사한다.
• 순열 분포의 중앙 100(1−α)% 분위수를 혼합 밀도의 특징에 대한 근사 신뢰구간으로 사용한다.
• 이론적 근거는 정규 조건 하에서 순열 분산이 표집 분산을 근사한다는 총분산 분해에 기반한다.
• 이 방법은 특정 점에서의 혼합 밀도 추정 및 점별 신뢰구간 구성에 적용된다.
• 다양한 표본 크기와 혼합 밀도 형태를 고려한 광범위한 시뮬레이션을 통해 방법이 검증된다.

실험 결과

연구 질문

• RQ1 예측 재귀 추정기의 순서 의존성은 유효한 불확실성 측정을 위해 재사용될 수 있는가?
• RQ2 순열 기반 분포는 혼합 밀도의 신뢰구간에 대해 약간의 유효한 빈도주의 커버리지를 제공하는가?
• RQ3 이 방법은 다양한 혼합 밀도 형태와 커널 유형에서 어떻게 성능을 보이는가?
• RQ4 순열 기반 분산은 예측 재귀 추정기의 진정한 표집 분산을 신뢰할 수 있는 근사로 제공하는가?

주요 결과

• 순열 기반 방법은 명목 수준과 약간 근접한 커버리지 확률을 갖는다. 특히 표본 크기가 n=500에서 n=1000으로 증가함에 따라 더욱 뚜렷하다.
• 혼합 밀도가 매끄러운 영역에서는 커버리지가 가장 정확하며, 고곡률 영역에서는 이격이 발생하지만 전체적으로는 강건한 성능을 보인다.
• 다양한 혼합 밀도와 커널을 포함한 9개의 예제에서 추정된 커버리지 확률은 0.88에서 1.00 사이였으며, n=1000일 때 평균값은 약 0.95에 가까웠다.
• 밀도 추정치와 신뢰구간의 시각적 비교를 통해 순열 분포의 산포와 진정한 표집 분포 사이에 양호한 일치가 관찰되었다.
• 이 방법은 교환 가능성 하에 존재하는 순서 의존성 밀도 추정기로 일반화 가능하며, 예측 재귀를 넘어서도 광범위한 적용 가능성을 시사한다.