[논문 리뷰] Information-Theoretic Capacity and Error Exponents of Stationary Point Processes under Random Additive Displacements

Venkat Anantharam, François Baccelli|arXiv (Cornell University)|2010. 12. 22.

Point processes and geometric inequalities참고 문헌 12인용 수 4

한 줄 요약

이 논문은 고차원 유클리드 공간에서 정적 점과정에 대한 난수 가우시안 이동에 대해 정보이론적 한계를 날카럽게 규명한다. 만약 강도의 로그 비례 계수와 노이즈의 미분 엔트로피 속도의 합이 음수일 경우, 최대우도 추정을 통해 오류 확률이 0으로 수렴하는 신뢰할 수 있는 복원이 가능하며, 그렇지 않으면 복원에 실패한다. 오류 지수는 노이즈의 엔트로피 스펙트럼에 대한 대규모 변동 이론을 통해 유도되며, 포아송 및 매테르니 과정의 경우 닫힌 형태의 수식을 도출할 수 있다. 이는 샤논의 가우시안 노이즈 채널과 연결되며, 가우시안 경우에서 알려진 경계를 복원한다.

ABSTRACT

This paper studies the Shannon regime for the random displacement of stationary point processes. Let each point of some initial stationary point process in $\R^n$ give rise to one daughter point, the location of which is obtained by adding a random vector to the coordinates of the mother point, with all displacement vectors independently and identically distributed for all points. The decoding problem is then the following one: the whole mother point process is known as well as the coordinates of some daughter point; the displacements are only known through their law; can one find the mother of this daughter point? The Shannon regime is that where the dimension $n$ tends to infinity and where the logarithm of the intensity of the point process is proportional to $n$. We show that this problem exhibits a sharp threshold: if the sum of the proportionality factor and of the differential entropy rate of the noise is positive, then the probability of finding the right mother point tends to 0 with $n$ for all point processes and decoding strategies. If this sum is negative, there exist mother point processes, for instance Poisson, and decoding strategies, for instance maximum likelihood, for which the probability of finding the right mother tends to 1 with $n$. We then use large deviations theory to show that in the latter case, if the entropy spectrum of the noise satisfies a large deviation principle, then the error probability goes exponentially fast to 0 with an exponent that is given in closed form in terms of the rate function of the noise entropy spectrum. This is done for two classes of mother point processes: Poisson and Matérn. The practical interest to information theory comes from the explicit connection that we also establish between this problem and the estimation of error exponents in Shannon's additive noise channel with power constraints on the codewords.

연구 동기 및 목표

• 고차원 유클리드 공간에서 정적 점과정의 난수 이동을 통한 신뢰할 수 있는 통신의 기본 한계를 분석하는 것.
• 강도의 로그 비례 계수와 노이즈의 미분 엔트로피 속도의 합에 기반한 복원 신뢰성에 대한 날카로운 한계를 설정하는 것.
• 노이즈의 엔트로피 스펙트럼에 대한 대규모 변동 이론을 사용하여 오류 지수의 닫힌 형태를 도출하는 것.
• 재매개변수화를 통해 점과정 모델을 전력 제약 조건이 있는 샤논의 가우시안 노이즈 채널과 연결하는 것.
• 고조도 신호 대 노이즈 비율 영역에서 샤논과 갈라거의 랜덤 및 제거된 오류 지수를 회복하고 일반화하는 것.

제안 방법

• 각 점이 i.i.d. 노이즈 벡터로 난수적으로 이동하는 R^n 내의 정적 점과정을 모델링한다.
• 어머니 점과정과 노이즈 분포가 주어졌을 때, 딸 점의 어머니 점을 식별하는 문제로 복원 문제를 정의한다.
• 오류 확률을 점과정 통계량으로 표현하기 위해 팔름 미적분과 질량 이동 원리를 적용한다.
• 노이즈의 엔트로피 스펙트럼에 대한 대규모 변동 이론을 적용하여 오류 확률의 지수 감쇠율을 도출한다.
• Gärtner–Ellis 정리와 Laplace–Varadhan 적분 보조정리를 적용하여 오류 지수를 닫힌 형태로 계산한다.
• 포아송 및 매테르니 하드코어 점과정에 대해 결과를 검증하여, 가우시안 경우에서 알려진 경계로 수렴하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 공간에서 이동된 점과정의 신뢰할 수 있는 복원에 대한 기본 한계는 무엇인가?
• RQ2 강도의 로그 비례 계수와 노이즈의 미분 엔트로피 속도의 합이 복원 성능에 어떻게 영향을 미치는가?
• RQ3 대규모 변동 이론을 사용하여 일반적인 정적 및 에르고딕 노이즈 과정에 대해 명시적인 오류 지수를 도출할 수 있는가?
• RQ4 이 점과정 모델과 전력 제약 조건이 있는 샤논의 가우시안 노이즈 채널 사이의 연결 고리는 무엇인가?
• RQ5 유도된 오류 지수는 샤논의 랜덤 및 제거된 오류 지수와 같은 기존 결과를 회복하거나 일반화하는가?

주요 결과

• 날카로운 한계가 존재한다: 강도의 로그 비례 계수와 노이즈의 미분 엔트로피 속도의 합이 음수일 경우, 오류 확률은 차원이 증가함에 따라 지수적으로 0으로 수렴하며, 그렇지 않으면 1로 수렴한다.
• 포아송 및 매테르니 점과정의 경우, 이 조건이 충족되면 최대우도 복원이 오류 확률이 0으로 수렴하도록 한다.
• 노이즈의 엔트로피 스펙트럼의 비율 함수를 가정할 때, 오류 지수는 노이즈의 엔트로피 스펙트럼에 대한 대규모 변동 원리에 기반하여 닫힌 형태로 도출된다.
• 점과정 모델의 오류 지수는 단순한 재매개변수화를 통해 샤논의 가우시안 노이즈 채널의 오류 지수로 직접 매핑된다.
• 백색 가우시안 노이즈의 경우, 유도된 지수는 폴티레브 정황에서 샤논의 랜덤 및 제거된 오류 지수를 모두 복원한다.
• 모든 정적 및 에르고딕 노이즈 과정에 대해 대규모 변동 조건을 만족하는 경우, 기존에 알려진 최고의 경계와 일치하는 오류 지수의 새로운 날카로운 경계를 제공한다.