[논문 리뷰] Entropy bounds on state estimation for stochastic non-linear systems under information constraints.

Christoph Kawan, Serdar Yüksel|arXiv (Cornell University)|2016. 12. 02.

Distributed Sensor Networks and Detection Algorithms인용 수 4

한 줄 요약

이 논문은 정보 제약 조건 하에서 스토케스틱 비선형 시스템의 상태 추정을 위한 채널 용량에 대한 기본 엔트로피 기반의 경계를 수립한다. 많은 시스템—특히 가우시안 가우시안 노이즈 모델—의 경우 유한 용량 채널은 추정 오차의 거의 확실성 또는 제곱 안정성을 달성할 수 없음을 보여주며, 이는 무한한 최소 용량 $ C_0 $ 가 필요함을 의미한다. 반면, 메모리 없는 노이즈 채널은 시스템 노이즈가 없을 경우 점점 더 작은 추정 오차를 허용하는 점근적 추정을 방해하지 않는다.

ABSTRACT

This paper studies state estimation over noisy channels for stochastic non-linear systems. We consider three estimation objectives, a strong and a weak form of almost sure stability of the estimation error as well as quadratic stability in expectation. For all three objectives, we derive lower bounds on the smallest channel capacity $C_0$ above which the objective can be achieved with an arbitrarily small error. Lower bounds are obtained via a dynamical systems (through a novel construction of a dynamical system), an information-theoretic and a random dynamical systems approach. The first two approaches show that for a large class of systems, such as additive noise systems, $C_0 = \infty$, i.e., the estimation objectives cannot be achieved via channels of finite capacity. The random dynamical systems approach is shown to be operationally non-adequate for the problem, since it yields finite lower bounds $C_0$ under mild assumptions. Finally, we prove that a memoryless noisy channel in general constitutes no obstruction to asymptotic almost sure state estimation with arbitrarily small errors, when there is no noise in the system.

연구 동기 및 목표

• 스토케스틱 비선형 시스템에서 정보 제약 조건 하에 안정된 상태 추정을 달성하기 위해 필요한 최소 채널 용량 $ C_0 $ 를 결정하는 것.
• 세 가지 추정 목표를 분석하는 것: 추정 오차의 거의 확실성 안정성(강형 및 약형), 기대값 기반 제곱 안정성.
• 이러한 목표 하에서 유한 용량 채널이 임의로 작은 추정 오차를 지원할 수 있는지 평가하는 것.
• 다이나믹 시스템, 정보 이론, 랜덤 다이나믹 시스템의 세 가지 분석 접근법의 효과를 비교하는 것.
• 시스템 노이즈가 없을 경우 메모리 없는 노이즈 채널이 점근적 상태 추정을 방해하는지 평가하는 것.

제안 방법

• 새로운 다이나믹 시스템 구성 방법을 사용하여 채널 용량 $ C_0 $ 의 하한을 유도하며, 특히 가우시안 가우시안 노이즈 모델을 포함한 광범위한 시스템 클래스에서 $ C_0 = ∞ $ 를 보여준다.
• 정보 이론적 접근법을 적용하여 $ C_0 $ 의 하한을 확립하며, 많은 경우에서 유한 용량 채널이 추정 목표를 달성하는 데 부적합함을 확인한다.
• 랜덤 다이나믹 시스템 접근법을 활용하지만, 약한 가정 하에서 유한한 $ C_0 $ 경계를 도출함으로써 이 방법이 문제 해결에 있어 실용적으로 부적절하다는 것을 입증한다.
• 채널 메모리와 노이즈의 역할을 분석하며, 특히 시스템 노이즈가 0일 경우 메모리 없는 노이즈 채널이 점근적 거의 확실성 추정을 방해하지 않음을 증명한다.
• 안정된 추정을 위해 필요한 정보 흐름을 정량화하기 위해 엔트로피와 상호정보량 측도를 사용하여 이론적 경계를 도출한다.
• 이 분석은 이산 시간 스토케스틱 비선형 시스템과 채널 노이즈가 추정 오차 동역학에 미치는 영향을 모두 고려한다.

실험 결과

연구 질문

• RQ1 스토케스틱 비선형 시스템에서 추정 오차의 거의 확실성 안정성을 달성하기 위해 필요한 최소 채널 용량 $ C_0 $ 는 얼마인가?
• RQ2 기대값 기반 제곱 안정성을 위해 유한 용량 채널이 임의로 작은 추정 오차를 지원할 수 있는가?
• RQ3 왜 랜덤 다이나믹 시스템 접근법은 약한 가정 하에 유한한 $ C_0 $ 경계를 도출하지만, 이는 문제 해결에 있어 실용적으로 무의미한가?
• RQ4 메모리 없는 노이즈 채널이 점근적 거의 확실성 상태 추정을 가능하게 하는 조건은 무엇인가?
• RQ5 가우시안 가우시안 노이즈 시스템은 안정된 추정을 위한 필요 채널 용량에 어떤 영향을 미치는가?

주요 결과

• 가우시안 가우시안 노이즈 시스템을 포함한 광범위한 스토케스틱 비선형 시스템의 경우, 필요한 최소 채널 용량 $ C_0 $ 는 무한대이며, 이는 이론적으로는 임의의 유한 용량 채널이 추정 목표를 달성할 수 없음을 의미한다.
• 정보 이론적 접근법과 다이나믹 시스템 접근법은 모두 가우시안 가우시안 노이즈 시스템에서 $ C_0 = ∞ $ 를 도출하며, 이는 근본적인 정보 이론적 한계를 시사한다.
• 랜덤 다이나믹 시스템 접근법은 약한 가정 하에 유한한 $ C_0 $ 경계를 도출하지만, 이는 다른 방법으로 도출된 더 강력한 하한과 모순되므로 실용적으로 무의미하다.
• 시스템 노이즈가 없을 경우, 메모리 없는 노이즈 채널은 점점 더 작은 오차로 점근적 거의 확실성 상태 추정을 방해하지 않는다.
• 논문은 분석 프레임워크의 선택이 도출된 하한 경계에 상당한 영향을 미친다는 것을 입증하며, 이 중 오직 두 가지 접근법만 의미 있고 비자명한 결과를 도출한다.
• 결과는 스토케스틱 비선형 시스템에서 시스템 노이즈, 채널 용량, 추정 안정성 간의 근본적인 상충 관계를 부각시킨다.