[논문 리뷰] New Formulas of Feedback Capacity for AGN Channels with Memory: A Time-Domain Sufficient Statistic Approach

Charalambos D. Charalambous, Christos K. Kourtellaris외 1명|arXiv (Cornell University)|2020. 10. 13.

Stability and Control of Uncertain Systems인용 수 9

한 줄 요약

이 논문은 기억성을 가진 가우시안 노이즈(AGN) 채널에 대한 피드백 용량 공식에서 오랫동안 지속된 모호함을 시간 도메인 충분통계량 접근법을 도입하여 해결한다. 두 개의 일반화된 행렬 차분 리카티 방정식(DREs)을 사용하여 커버와 포ン브라 용량 공식의 새로운 순차적 특성화를 유도하며, 이러한 DRE의 해가 수렴하는 경우에만 점근적 피드백 용량이 존재함을 증명한다. 안정성과 비안정성 노이즈 과정에 대한 명시적 조건을 제공한다.

ABSTRACT

In the recent paper [1] it is shown, via an application example, that the Cover and Pombra [2] "characterization of the $n-$block or transmission" feedback capacity formula, of additive Gaussian noise (AGN) channels, is the subject of much confusion in the literature, with redundant incorrect results. The main objective of this paper is to clarify the main points of confusion and remove any further ambiguity. The first part of the paper applies time-domain methods, to derive for a first time, equivalent sequential characterizations of the Cover and Pombra characterization of feedback capacity of AGN channels driven by nonstationary and nonergodic Gaussian noise. The optimal channel input processes of the new equivalent sequential characterizations are expressed as functionals of a sufficient statistic and a Gaussian orthogonal innovations process. From the new representations follows that the Cover and Pombra $n-$block capacity formula is expressed as a functional of two generalized matrix difference Riccati equations (DRE) of filtering theory of Gaussian systems, contrary to results that appeared in the literature. In the second part of the paper the existence of the asymptotic limit of the $n-$block feedback capacity formula is shown to be equivalent to the convergence properties of solutions of the two generalized DREs. Further, necessary and or sufficient conditions are identified for existence of the asymptotic limits, for stable and unstable Gaussian noise, when the optimal input distributions are time-invariant, but not necessarily stationary. The paper contains an in depth analysis, with examples, of the specific technical issues, which are overlooked in past literature [3-7], that studied the AGN channel of [2], for stationary noises.

연구 동기 및 목표

• 기억성을 가진 AGN 채널에 대한 피드백 용량의 커버와 포ン브라 특성화에 관해 문헌에서 지속적으로 야기되는 혼동을 명확히 하기 위해.
• 시간 도메인 방법과 충분통계량을 사용하여 피드백 용량 공식의 새로운 순차적 표현을 도출하기 위해.
• 점근적 피드백 용량의 존재성과 두 개의 일반화된 행렬 차분 리카티 방정식(DREs)의 해 수렴성 간의 동치성을 확립하기 위해.
• 시간 불변이지만 비 stationary한 최적 입력 분포 하에서 점근적 용량의 존재에 필요한 필수 조건을 규명하기 위해.
• 이전 연구에서 정적 노이즈 모델을 다룰 때 간과된 기술적 문제들을 철저히 분석하기 위해.

제안 방법

• 시간 도메인 필터링 기법과 충분통계량을 사용하여 커버와 포ン브라 피드백 용량의 등가 순차적 특성화를 유도한다.
• 최적 입력 과정을 충분통계량과 가우시안 직교 혁신 과정의 함수로 표현한다.
• 필터링 이론에서 유래한 두 개의 일반화된 행렬 차분 리카티 방정식(DREs)의 기능으로 $n$-블록 피드백 용량을 표현한다.
• 일반화된 칼만 필터 프레임워크를 사용하여 조건부 분포를 분석하고 최적 입력 전략을 도출한다.
• 가우시안 분포에 대한 최대 엔트로피 원리를 적용하여 조건부 입력 분포가 선형이고 조건부 가우시안임을 보여준다.
• 기본 시스템 행렬의 관측 가능성, 탐지 가능성, 안정화 가능성 분석을 통해 DRE의 수렴 조건을 확립한다.

실험 결과

연구 질문

• RQ1 노이즈가 비 stationary하고 비ergodic일 경우, 기억성을 가진 AGN 채널에 대한 피드백 용량의 정확한 순차적 표현은 무엇인가?
• RQ2 커버와 포브라의 $n$-블록 용량 공식은 시간 도메인 충분통계량과 일반화된 DREs를 사용하여 어떻게 재표현할 수 있는가?
• RQ3 안정성과 비안정성 노이즈 과정에 대해 점근적 피드백 용량이 존재하는 조건은 무엇인가?
• RQ4 이전 문헌에서 정적 노이즈 모델을 다룬 결과들이 피드백 용량 공식의 핵심 구조적 특성을 고려하지 못한 이유는 무엇인가?
• RQ5 일반화된 DRE의 수렴 성질은 점근적 피드백 용량 존재성과 어떻게 관련이 있는가?

주요 결과

• 피드백 용량 공식은 두 개의 일반화된 행렬 차분 리카티 방정식(DREs)의 기능으로 등가적으로 표현되며, 이는 이전 문헌에서의 모호함을 해결한다.
• 최적 입력 과정이 충분통계량과 가우시안 직교 혁신 과정의 함수로 표현됨을 보여주며, 이는 순차적 실현 가능성을 보장한다.
• 점근적 피드백 용량의 존재성은 두 개의 일반화된 DRE 해의 수렴성과 동치이다.
• 안정성 노이즈의 경우, 쌍 $\{A^*, G B^{*,1/2}\}$ 가 안정화 가능하고 $\{A,C\}$ 가 탐지 가능할 때 점근적 용량이 보장된다.
• 비안정성 노이즈의 경우, DRE 해가 수렴하면 점근적 용량이 존재하며, 이는 노이즈 파rameter의 특정 스펙트럼 조건을 만족할 경우 보장된다.
• 이전 연구에서 정적 성질을 가정한 기술적 소홀을 식별하고 수정하며, 일반적인 타당성을 확보하기 위해 시간 불변이지만 비stationary한 입력 분포가 필수적임을 밝혀낸다.