[논문 리뷰] Directed Information, Causal Estimation, and Communication in Continuous Time

Tsachy Weissman, Young-Han Kim외 1명|arXiv (Cornell University)|2011. 09. 02.

Wireless Communication Security Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 시간 분할에 대한 하한을 취하여 연속시간 확률과정에 대한 방향 정보의 엄밀한 개념을 제안함으로써 이산시간 방향 정보를 연속시간으로 일반화한다. 피드백 상황에서 딱각적 추정 오차와 상호정보량 사이의 Duncan의 고전적 관계가 방향 정보로 대체될 때 연속시간으로 확장됨을 증명하고, 이를 통해 연속시간 가우시안 및 포아송 채널의 피드백 용량을 특성화한다.

ABSTRACT

A notion of directed information between two continuous-time processes is proposed. A key component in the definition is taking an infimum over all possible partitions of the time interval, which plays a role no less significant than the supremum over "space" partitions inherent in the definition of mutual information. Properties and operational interpretations in estimation and communication are then established for the proposed notion of directed information. For the continuous-time additive white Gaussian noise channel, it is shown that Duncan's classical relationship between causal estimation and information continues to hold in the presence of feedback upon replacing mutual information by directed information. A parallel result is established for the Poisson channel. The utility of this relationship is then demonstrated in computing the directed information rate between the input and output processes of a continuous-time Poisson channel with feedback, where the channel input process is constrained to be constant between events at the channel output. Finally, the capacity of a wide class of continuous-time channels with feedback is established via directed information, characterizing the fundamental limit on reliable communication.

연구 동기 및 목표

• 연속시간 확률과정 간의 인과적 정보 흐름을 캡처하는 방향 정보의 형식화된 개념을 제시한다.
• 특히 Duncan의 정리와 같은 고전적 추정이론 결과를 피드백가에 대해 연속시간으로 확장한다.
• 방향 정보를 사용하여 광범위한 연속시간 채널의 피드백 용량을 특성화한다.
• 입력 제약 조건이 있는 연속시간 포아송 채널에서의 방향 정보율을 계산하는 데에 방향 정보의 유용성을 보여준다.

제안 방법

• 시간 분할에 대한 하한으로서 부분 간격에서의 이산시간 방향 정보의 최소값으로 연속시간 방향 정보를 정의한다.
• 점점 더 세밀해지는 분할에서의 이산시간 방향 정보의 극한을 통해 연속시간 형태를 정의한다.
• Birkhoff의 에르고딕 정리와 블록-에르고딕성의 성질을 활용하여 방향 정보율 이하의 전송률이 실현 가능함을 증명한다.
• 작은 시간 간격으로 샘플링하여 연속시간 과정으로부터 이산시간 채널 모델을 구성하고 피드백 지연을 통해 인과성을 모델링한다.
• 데이터 처리 부등식과 조건부 상호정보량의 성질을 적용하여 이산시간 채널 용량과 연속시간 방향 정보를 연결한다.
• 노이즈 과정이 정상적이고 블록-에르고딕성을 만족하므로 유도된 이산시간 채널의 에르고딕성을 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 연속시간 확률과정에 대해 방향 정보를 엄밀하게 정의할 수 있는가?
• RQ2 피드백이 존재할 때, 인과적 추정 오차와 상호정보량 사이의 Duncan의 정리가 연속시간으로 확장되는가?
• RQ3 연속시간 채널의 피드백 용량은 방향 정보를 사용하여 특성화될 수 있는가?
• RQ4 출력 이벤트 사이에 입력이 일정한 연속시간 포아송 채널의 방향 정보율은 무엇인가?
• RQ5 피드백의 존재가 연속시간에서 추정 오차와 정보 측정치 사이의 관계를 어떻게 변화시키는가?

주요 결과

• 시간 분할에 대한 하한으로서 정의된 연속시간 방향 정보는 이산시간 방향 정보와 일致하며 그 핵심 성질을 그대로 이어받는다.
• Duncan의 정리는 연속시간으로 일반화된다: 피드백이 있는 가우시안 백색 잡음 채널에서 최소 인과적 추정 오차는 입력과 출력 사이의 방향 정보와 관련이 있다.
• 포아송 채널의 경우에도 유사한 관계가 성립하며, 추정 오차 특성화에서 상호정보량 대신 방향 정보가 사용된다.
• 출력 이벤트 사이에 입력이 일정한 연속시간 포아송 채널의 경우, 일반화된 Duncan의 정리를 사용하여 방향 정보율을 명시적으로 계산할 수 있다.
• 정상적이고 에르고딕한 노이즈를 갖는 광범위한 연속시간 채널의 피드백 용량은 입력 분포에 대한 방향 정보의 최대값으로 특성화된다.
• 피드백 용량이 시간 분할에 대한 방향 정보율의 하한값과 같음을 증명하여 이산시간 피드백 용량 공식의 연속시간 해석을 확립한다.