[논문 리뷰] Certain Relations between Mutual Information and Fidelity of Statistical Estimation

Sudhakar Prasad|arXiv (Cornell University)|2010. 10. 07.

Statistical Mechanics and Entropy참고 문헌 3인용 수 16

한 줄 요약

이 논문은 베이지안 추정에서 임의의 채널과 사전 분포에 대해 유효한 최소 평균 제곱 오차(MMSE)에 대한 상호정보량(MI)의 일반적 하한을 도출함으로써, 상호정보량(MI)과 추정 정밀도 사이의 새로운 이론적 관계를 수립한다. 또한 좁은 사전 분포에 대해 둘째 차수 근사에서 MI를 피셔 정보(FI)와 연결하고, 부수적 매개변수의 영향을 MI, FI, MMSE 프레임워크를 통해 분석한다.

ABSTRACT

I present several new relations between mutual information (MI) and statistical estimation error for a system that can be regarded simultaneously as a communication channel and as an estimator of an input parameter. I first derive a second-order result between MI and Fisher information (FI) that is valid for sufficiently narrow priors, but arbitrary channels. A second relation furnishes a lower bound on the MI in terms of the minimum mean-squared error (MMSE) on the Bayesian estimation of the input parameter from the channel output, one that is valid for arbitrary channels and priors. The existence of such a lower bound, while extending previous work relating the MI to the FI that is valid only in the asymptotic and high-SNR limits, elucidates further the fundamental connection between information and estimation theoretic measures of fidelity. The remaining relations I present are inequalities and correspondences among MI, FI, and MMSE in the presence of nuisance parameters.

연구 동기 및 목표

• 베이지안 매개변수 추정에서 상호정보량(MI)과 최소 평균 제곱 오차(MMSE) 사이의 일반적이고 점근적이지 않은 관계를 수립하는 것.
• 이전의 점근적 또는 국소적 MI와 피셔 정보(FI) 간의 관계를 좁은 사전 분포에 대해 유효한 둘째 차수 근사로 확장하는 것.
• 부수적 매개변수의 영향을 MI, FI, MMSE를 통해 분석하고 성능 부등식을 도출하는 것.
• 고정밀도나 대표 표본 수의 한계를 넘어서, MI와 FI 간의 관계를 전역적이고 점근적이지 않은 일반화로 확장하는 것.

제안 방법

• 조건부 밀도함수 $P(y|x)$의 테일러 급수 전개를 사용하여 좁은 사전 분포에 대해 피셔 정보에 대한 상호정보량의 둘째 차수 전개를 유도한다.
• 상호정보량을 로그 우도 비율의 기대값으로 표현함으로써 $x' - x$의 거듭제곱에 대한 전개가 가능하게 한다.
• 임의의 사전 분포와 채널에 대해 유효한 상호정보량의 하한을 베이지안 추정의 MMSE를 사용하여 수립한다: $I(X;Y) \geq h(X) - \frac{1}{2}\ln(2\pi e \cdot \text{MMSE})$.
• 다중입력다중출력(MIMO) 시스템을 분석하기 위해 상호정보량-MMSE 관계를 다차원 입력과 출력으로 일반화한다.
• 베이지안 추정 이론을 활용하여 부수적 매개변수가 있는 경우와 없는 경우의 MMSE를 계산하고, 부수적 매개변수가 있을 경우 MMSE가 감소하지 않는다는 부등식을 유도한다.
• 크래머-라오 경계와 베이즈의 정리를 적용하여 조건부 밀도와 균일 밀도에 기반한 미분 엔트로피와 상호정보량의 표현식을 유도한다.

실험 결과

연구 질문

• RQ1 일반적인 설정에서, 베이지안 추정의 최소 평균 제곱 오차(MMSE)를 사용하여 상호정보량(MI)을 하한으로 어떻게 구할 수 있는가?
• RQ2 좁은 사전 분포와 임의의 채널에 대해, 상호정보량(MI)과 피셔 정보(FI) 사이의 정확한 둘째 차수 관계는 무엇인가?
• RQ3 부수적 매개변수가 목표 매개변수의 추정 정밀도에 MI, FI, MMSE로 측정하여 영향을 미치는 방식은 무엇인가?
• RQ4 상호정보량-MMSE 관계는 다중입력다중출력(MIMO) 시스템으로 일반화될 수 있는가?
• RQ5 부수적 매개변수가 관심 있는 매개변수의 추정 성능을 떨어뜨리지 않는 조건은 무엇인가?

주요 결과

• 임의의 채널과 사전 분포에 대해 유효한 일반적 하한이 유도되었으며, 이는 $I(X;Y) \geq h(X) - \frac{1}{2}\ln(2\pi e \cdot \text{MMSE})$ 로 표현되며, 이는 베이지안 추정의 최소 평균 제곱 오차(MMSE)에 기반한다.
• 이 하한은 날카롭고 국소적 MI-FI 관계의 전역 일반화를 제공하며, 이는 점근적 또는 고신호대역비(SNR) 한계에서만 유효한 관계이다.
• 좁은 사전 분포에 대해, MI와 피셔 정보 사이의 둘째 차수 관계가 유도되었으며, 이는 MI가 사전 평균 피셔 정보에 비례한다는 것을 보여준다.
• 부수적 매개변수가 존재할 경우, 목표 매개변수의 추정에 대한 MMSE는 항상 감소하지 않으며, 차이 $\text{MMSE}^{(+)} - \text{MMSE}^{(-)} \geq 0$ 는 항상 비음수이다.
• 부수적 매개변수가 추정 성능을 떨어뜨리지 않는 최적 조건은 $\chi = \eta$ 일 때이며, 여기서 $\chi$ 는 $X$와 $U$ 간의 사전 상관을 측정하고, $\eta$ 는 결합 강도를 측정한다.
• 수치적 결과는 부수적 매개변수의 신호대역비가 증가할수록 MMSE가 증가하지만, 부수적 매개변수가 없는 경우의 MMSE를 밑도 안 된다는 것을 확인하여, 모델 불확실성 하에서 베이지안 추정의 본질적 강건성을 입증한다.