[논문 리뷰] Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples

Yasuyuki Hamura|arXiv (Cornell University)|2020. 10. 06.

Advanced Statistical Methods and Models참고 문헌 37인용 수 2

한 줄 요약

이 논문은 비균형 음수 다항모형에 대한 베이지안 수축 추정기와 예측 밀도를 개발하며, 표준화된 제곱오차 손실 하에서 UMVU 추정기보다 열등한 새로운 경험베이지안 추정기를 도입하고, 쿨리블랙-라이블러 발산에서 제플리스의 사전보다 개선된 계층적 수축 사전을 제시한다. 주요 기여는 표준화된 제곱오차 손실 하에서 추정과 예측에 대해 유한 표본에서의 지배 결과를 비균형 설정에서 도출한 것으로, 이는 이전의 포아송 및 다항모형 연구를 일반적이고 가능한 비균형인 표본 크기와 손실 가중치를 가진 음수 다항모형으로 확장한 것이다.

ABSTRACT

In this paper, we treat estimation and prediction problems where negative multinomial variables are observed and in particular consider unbalanced settings. First, the problem of estimating multiple negative multinomial parameter vectors under the standardized squared error loss is treated and a new empirical Bayes estimator which dominates the UMVU estimator under suitable conditions is derived. Second, we consider estimation of the joint predictive density of several multinomial tables under the Kullback-Leibler divergence and obtain a sufficient condition under which the Bayesian predictive density with respect to a hierarchical shrinkage prior dominates the Bayesian predictive density with respect to the Jeffreys prior. Third, our proposed Bayesian estimator and predictive density give risk improvements in simulations. Finally, the problem of estimating the joint predictive density of negative multinomial variables is discussed.

연구 동기 및 목표

• 표본 크기, 벡터 길이, 손실 함수 가중치가 각각 다른 파rameter들 사이에서 발생하는 비균형 설정에서 음수 다항 표본을 포함한 추정 및 예측 문제를 다루기 위해.
• 포아송 및 균형 모형에 대한 수축 추정 및 예측 밀도 지배 결과의 의사결정 이론적 결과를 더 일반적인 비균형 음수 다항모형으로 확장하기 위해.
• 표본 크기와 가중치가 비균형일지라도 표준화된 제곱오차 손실 하에서 UMVU 추정기보다 개선된 새로운 경험베이지안 추정기를 개발하기 위해.
• 계층적 수축 사전을 사용한 베이지안 예측 밀도가 제플리스의 사전을 사용한 것보다 Kullback-Leibler 위험 측면에서 공동 예측 밀도 추정에서 지배하는 데 필요한 충분조건을 도출하기 위해.
• 여러 개의 음수 다항 표본에 대한 베이지안 예측 밀도의 유한 표본 성질을 조사하여 이전의 점근적 결과를 일반화하기 위해.

제안 방법

• 계층적 수축 사전 하에서 최대우도 기반으로 새로운 경험베이지안 추정기를 유도하여, 비균형 설정에서 표준화된 제곱오차 손실 하에서 UMVU 추정기보다 지배됨을 확보한다.
• 수축 추정기의 지배 조건을 비균형 케이스로 일반화하여 표본 크기, 벡터 길이, 손실 가중치의 불균형을 포함한다.
• 감마 척도 매개변수에 대한 혼합 분포를 사용한 계층적 사전 구조를 도입하여 수축을 유도하고, 이로 인해 위험 성능이 향상됨을 가능하게 한다.
• 예측 밀도 추정을 위한 손실 함수로 쿨리블랙-라이블러 발산을 적용하고, 정규화 상수 G(τ, Z(τ))를 포함한 모멘트 생성 함수와 적분 항등식을 통해 지배 조건을 도출한다.
• 쿨리블랙-라이블러 발산을 다항 혼합 분포에 대한 기대값의 형태로 표현하고, 측도 변화 기법을 사용하여 사후 예측 분포를 비교한다.
• 위험 차이와 사후 모멘트 간 쿨리블랙-라이블러 발산 사이의 연결 고리를 설정하여 분석적 지배 증명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준화된 제곱오차 손실 하에서 비균형 음수 다항 추정에서 UMVU 추정기보다 지배하는 베이지안 수축 추정기를 구성할 수 있는가?
• RQ2 공동 예측 밀도 추정에서 Kullback-Leibler 위험 측면에서 계층적 수축 사전을 사용한 베이지안 예측 밀도가 제플리스의 사전을 사용한 것보다 지배하는 조건은 무엇인가?
• RQ3 표본 크기와 손실 가중치가 비균형일 경우 수축에 의한 위험 개선은 유한 표본에서 어떻게 나타나는가?
• RQ4 포아송 모형에 대한 지배 결과를 음수 다항 분포로 일반화할 수 있는가, 특히 다중 다항표의 겹침이 있는 설정에서 말이다?
• RQ5 혼합 분포와 척도 매개변수는 비균형 모형에서 추정과 예측의 위험 감소에 어떤 역할을 하는가?

주요 결과

• 계층적 수축 사전 하에서 최대우도 기반으로 유도된 제안된 경험베이지안 추정기는 비균형 설정에서 표준화된 제곱오차 손실 하에서 UMVU 추정기보다 지배되며, 일반적인 수축 형태에 대해 지배 조건이 확립되었다.
• 계층적 수축 사전을 사용한 베이지안 예측 밀도가 제플리스의 사전을 사용한 것보다 Kullback-Leibler 위험 측면에서 공동 예측 밀도 추정에서 지배하는 데 필요한 충분조건이 도출되었다.
• 쿨리블랙-라이블러 발산을 통해 사후 예측 모멘트 간 위험 개선이 분석적으로 정량화되었으며, 계층적 사전이 더 작은 위험을 유도함을 보여주었다.
• 시뮬레이션 연구는 제안된 추정기와 예측 밀도가 기준 방법보다 유의미한 위험 감소를 보였으며, 특히 비균형 구성에서 두드러졌다.
• 지배 결과는 이전의 점근적 결과와 대비하여 유한 표본에서도 성립하며, 겹치거나 의존적인 표를 가진 음수 다항모형으로 의사결정 이론 프레임워크를 일반화하였다.
• 이 논문은 추정과 예측의 지배 결과 간 공식적인 연결 고리를 수립하여, 유사한 수축 메커니즘이 비균형 조건 하에서 둘 다 성능 향상에 기여함을 보여주었다.