[논문 리뷰] Information and Estimation over Binomial and Negative Binomial Models

Dongning Guo|arXiv (Cornell University)|2012. 07. 31.

Statistical Mechanics and Entropy참고 문헌 6인용 수 6

한 줄 요약

이 논문은 이항 및 음이항 분포 모델에서 상대 엔트로피와 추정 오차 사이의 새로운 연결 고리를 수립한다. Kullback-Leibler 발산의 스케일링 파라미터에 대한 도함수를 진짜와 오차가 있는 사전 분포 하에서의 조건부 평균 추정치 사이의 발산 측도의 기댓값으로 표현함으로써 이루어진다. 이전 연구에서 수정된 모델 파라미터를 사용한 것과 달리, 본 방법은 원래의 모델 파라미터를 사용하여 기존의 정규분포 및 포oisson 모델 유사성과 더 일치하는 결과를 도출한다.

ABSTRACT

In recent years, a number of results have been developed which connect information measures and estimation measures under various models, including, predominently, Gaussian and Poisson models. More recent results due to Taborda and Perez-Cruz relate the relative entropy to certain mismatched estimation errors in the context of binomial and negative binomial models, where, unlike in the case of Gaussian and Poisson models, the conditional mean estimates concern models of different parameters than those of the original model. In this note, a different set of results in simple forms are developed for binomial and negative binomial models, where the conditional mean estimates are produced through the original models. The new results are more consistent with existing results for Gaussian and Poisson models.

연구 동기 및 목표

• 이항 및 음이항 모델에서 상대 엔트로피와 추정 오차 사이의 새로운 이중성을 개발하기 위해.
• 이전 연구에서 오차가 있는 추정에 대해 수정된 모델 파라미터를 사용한 불일치를 해결하기 위해 (예: 이항분포의 경우 n−1번의 시행).
• 기존의 정규분포 및 포oisson 모델 프레임워크와 일치시키기 위해, 조건부 평균 추정치가 원래 모델 기반으로 이루어지도록 하기 위해.
• 이들 모델에서 스케일링 파라미터 a와 b에 대한 KL 발산의 도함수에 대한 닫힌 형태의 표현식을 유도하기 위해.
• 상대 엔트로피의 도함수가 진짜와 오차가 있는 사전 하에서의 조건부 평균 추정치에 적용된 발산 함수의 기댓값과 같다는 것을 확립하기 위해.

제안 방법

• 모델은 확률적 변환으로 정의된다: 이항분포의 경우 Y|X=x ~ Binomial(n, a/x); 음이항분포의 경우 Y|X=x ~ NB(r, x/(b+x)).
• 출력 질량함수의 도함수를 통해 스케일링 파라미터 a(이항분포) 또는 b(음이항분포)에 대한 KL 발산 D(P_Y || Q_Y)의 도함수를 유도한다.
• 레마 1과 레마 2는 dP_Y(y)/da = (1/a)(y P_Y(y) - (y+1) P_Y(y+1)) 를 보여주며, 이는 (-∞,a] 또는 (-∞,0] 에 질량이 없는 조건에서 유효하다.
• 핵심 항등식은 KL 도함수를 함수 g(t) = t - 1 - log t 를 포함하는 기댓값으로 표현하는 것으로, 이는 1에서의 상대적 편차를 측정한다.
• 최종 결과는 이항분포의 경우 E[ (Y/a) * g( (E[X|Y] - a) / (E_Q[X|Y] - a) ) ] 이고, 음이항분포의 경우 E[ (Y/b) * g( (E[X|Y] + b) / (E_Q[X|Y] + b) ) ] 로 표현된다.
• 유도 과정은 가능도 비율의 기댓값을 다루고, g(t) = t - 1 - log t 를 사용하여 KL 발산 도함수의 로그 항을 표현하는 데 의존한다.

실험 결과

연구 질문

• RQ1 원래의 모델 파라미터를 사용하여 이항 및 음이항 모델에서 상대 엔트로피와 추정 오차 사이의 이중성을 수립할 수 있는가?
• RQ2 모델 파라미터가 그대로 유지될 때, KL 발산 D(P_Y || Q_Y)의 도함수는 오차가 있는 조건부 평균 추정과 어떻게 관련이 있는가?
• RQ3 왜 이전 연구에서 수정된 파라미터를 사용한 결과(예: 이항분포의 경우 n−1번의 시행)는 정규분포 및 포oisson 유사성과 일치하지 않는가?
• RQ4 진짜와 오차가 있는 사전 하에서의 조건부 평균 추정치에 기반한 상대 엔트로피 도함수의 함수 형태는 무엇인가?
• RQ5 g(t) = t - 1 - log t 를 포함한 동일한 수학적 구조가 연속 모델과 마찬가지로 이산 모델에서 KL 도함수를 표현하는 데 사용될 수 있는가?

주요 결과

• 이항분포 모델에서 파라미터 a에 대한 KL 발산 D(P_Y || Q_Y)의 도함수는 E[ (Y/a) * g( (E[X|Y] - a) / (E_Q[X|Y] - a) ) ] 로 주어지며, 여기서 g(t) = t - 1 - log t 이다.
• 음이항분포 모델의 경우 파라미터 b에 대한 도함수는 E[ (Y/b) * g( (E[X|Y] + b) / (E_Q[X|Y] + b) ) ] 로 주어진다.
• 결과는 조건부 평균 추정치가 원래 모델 기반으로 이루어지는 정규분포 및 포oisson 모델 유사성과 일치한다.
• 파라미터 a에 대한 출력 질량함수 P_Y(y)의 도함수는 (1/a)(y P_Y(y) - (y+1) P_Y(y+1)) 로서, 이는 유도 과정에서 핵심 항등식으로 사용된다.
• 함수 g(t)는 진짜와 오차가 있는 사후 평균 추정치 사이의 발산 측도로 기능하며, 그 기댓값은 상대 엔트로피의 변화율을 포괄한다.
• 유도 과정은 KL 발산 도함수가 진짜로 오차가 있는 조건부 평균 추정 오차에 의해 완전히 특징지어지며, 사후 평균의 비율에 대한 g-함수로 측정된다는 것을 확인한다.