[논문 리뷰] Information Structures of Capacity Achieving Distributions for Feedback Channels with Memory and Transmission Cost: Stochastic Optimal Control & Variational Equalities-Part I.

Christos K. Kourtellaris, Charalambos D. Charalambous|arXiv (Cornell University)|2015. 12. 14.

Wireless Communication Security Techniques참고 문헌 29인용 수 20

한 줄 요약

이 논문은 확률적 최적 제어와 변분 등식을 이용하여 전송 비용 제약 조건이 있는 기억 구조를 가진 채널에 대한 유한시간 피드백 정보(FTFI) 용량을 특성화한다. 최적의 입력 분포가 과거 M개의 출력 기호에만 의존함을 증명함으로써, 정보 구조를 유한기억 형태로 줄이고, 이 하위집합에서의 지향 정보 최대화를 통해 정확한 용량 계산이 가능해짐을 보여준다.

ABSTRACT

The Finite Transmission Feedback Information (FTFI) capacity is characterized for any class of channel conditional distributions $\big\{{\bf P}_{B_i|B^{i-1}, A_i} :i=0, 1, \ldots, n\big\}$ and $\big\{ {\bf P}_{B_i|B_{i-M}^{i-1}, A_i} :i=0, 1, \ldots, n\big\}$, where $M$ is the memory of the channel, $B^n = \{B_j: j=0,1, \ldots, n\}$ are the channel outputs and $A^n=\{A_j: j=0,1, \ldots, n\}$ are the channel inputs. The characterizations of FTFI capacity, are obtained by first identifying the information structures of the optimal channel input conditional distributions ${\cal P}_{[0,n]} =\big\{ {\bf P}_{A_i|A^{i-1}, B^{i-1}}: i=1, \ldots, n\big\}$, which maximize directed information $C_{A^n ightarrow B^n}^{FB} = \sup_{ {\cal P}_{[0,n]} } I(A^n ightarrow B^n), I(A^n ightarrow B^n) = \sum_{i=0}^n I(A^i;B_i|B^{i-1}) . $ The main theorem states, for any channel with memory $M$, the optimal channel input conditional distributions occur in the subset ${\cal Q}_{[0,n]}= \big\{ {\bf P}_{A_i|B_{i-M}^{i-1}}: i=1, \ldots, n\big\}$, and the characterization of FTFI capacity is given by $C_{A^n ightarrow B^n}^{FB, M} = \sup_{ {\cal Q}_{[0,n]} } \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1})$ . Similar conclusions are derived for problems with transmission cost constraints. The methodology utilizes stochastic optimal control theory, to identify the control process, the controlled process, and a variational equality of directed information, to derive upper bounds on $I(A^n ightarrow B^n)$, which are achievable over specific subsets of channel input conditional distributions. For channels with limited memory, this implies the transition probabilities of the channel output process are also of limited memory.

연구 동기 및 목표

• 이산 시간 기억 채널에 대한 유한시간 피드백 정보(FTFI) 용량을 특성화하기 위해.
• 피드백과 전송 비용 제약 조건 하에서 지향 정보를 최대화하는 채널 입력 분포의 최적 정보 구조를 규명하기 위해.
• 기억 구조가 M인 채널에 대해 최적의 입력 분포가 전체 과거가 아닌 마지막 M개의 출력 기호에만 의존함을 입증하기 위해.
• 변분 등식과 확률적 제어 프레임워크를 이용하여 FTFI 용량의 닫힌 형태 표현식을 유도하기 위해.

제안 방법

• 피드백 용량 문제를 제어 과정(채널 입력)과 피제어 과정(채널 출력)을 식별하는 확률적 최적 제어 문제로 공식화한다.
• 지향 정보에 대한 상한을 확보하기 위해 지향 정보에 대한 변분 등식을 유도하며, 이는 특정 입력 분포 하에서 날카로운 상한이 된다.
• 최적의 정보 구조를 $ \mathcal{Q}_{[0,n]} = \{ \mathbf{P}_{A_i|B_{i-M}^{i-1}} \} $ 로 식별하여 과거 입력에 대한 의존성이 불필요함을 보여준다.
• 이 구조를 활용해 지향 정보를 $ \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1}) $ 로 재표현함으로써, 이 유한기억 하위집합에서 용량 계산이 가능해진다.
• 이 프레임워크를 무기억 및 기억 구조가 있는 채널에 적용하여, 유도된 입력 분포 계열 하에서 상한의 달성 가능성을 입증한다.
• 채널 출력 과정이 또한 제한된 기억을 상속함을 입증하며, 이는 전이 확률이 마지막 M개의 출력 기호에만 의존함을 의미한다.

실험 결과

연구 질문

• RQ1 기억 구조가 M이고 전송 비용 제약 조건이 있는 피드백 채널에서 지향 정보를 최대화하는 데 최적의 입력 분포 정보 구조는 무엇인가?
• RQ2 이러한 채널의 피드백 용량은 전체 과거 의존성 대신 유한기억 정보 구조를 사용하여 특성화할 수 있는가?
• RQ3 확률적 최적 제어 이론은 피드백 환경에서 지향 정보에 대한 변분 등식 유도에 어떻게 기여하는가?
• RQ4 채널의 기억 구조와 최적 입력 분포의 기억 구조 사이의 정확한 관계는 무엇인가?
• RQ5 지향 정보에 대한 상한은 달성 가능한가, 만약 그렇다면 어느 입력 분포 하위집합에서 달성되는가?

주요 결과

• 기억 구조가 M인 피드백 채널에 대한 최적의 채널 입력 조건부 분포는 $ \mathcal{Q}_{[0,n]} = \{ \mathbf{P}_{A_i|B_{i-M}^{i-1}} \} $ 의 하위집합에 속하며, 이는 마지막 M개의 출력 기호에만 의존한다.
• 기억 구조가 M인 채널의 FTFI 용량은 $ C_{A^n \rightarrow B^n}^{FB, M} = \sup_{\mathcal{Q}_{[0,n]}} \sum_{i=0}^n I(A_i; B_i|B_{i-M}^{i-1}) $ 로 주어지며, 이는 용량을 계산 가능한 형태로 제공한다.
• 지향 정보 $ I(A^n \rightarrow B^n) $ 는 이 표현식으로 상한이 제시되며, 유도된 입력 분포 계열을 사용하여 이 상한은 달성 가능하다.
• 채널 출력 과정 $ B^n $ 도 유한기억 구조를 상속하며, 전이 확률이 마지막 M개의 출력 기호에만 의존한다.
• 확률적 최적 제어와 변분 등식을 활용한 방법론은 특정 정보 구조 하에서 달성 가능한 날카로운 상한을 제공하는 지향 정보에 대한 엄밀한 상한을 도출할 수 있게 한다.
• 전송 비용 제약 조건이 있는 채널에 대해서도 유사한 특성화가 성립하며, 최적의 입력 분포가 여전히 마지막 M개의 출력 기호에만 의존함을 보여주며, 이는 유한기억 구조를 유지한다.