[논문 리뷰] Fundamental Inequalities and Identities Involving Mutual and Directed Informations in Closed-Loop Systems

Milan S. Derpich, Eduardo I. Silva외 1명|arXiv (Cornell University)|2013. 01. 28.

stochastic dynamics and bifurcation참고 문헌 36인용 수 10

한 줄 요약

이 논문은 피드백이 있는 일반적인 폐쇄형 시스템에서 상호정보량과 유도정보량 간의 기본 부등식과 항등식을 도출하며, 오직 인과성 제약 조건만을 사용한다. 내부 유도정보량을 외부 상호정보량으로 경계함으로써 정보 흐름의 보존 법칙을 증명하며, 임의의 신호 분포를 가진 비선형, 시간에 따라 변하는, 그리고 확률적인 성분을 포함하는 피드백 시스템에 대해 새로운 데이터 처리 부등식을 가능하게 한다.

ABSTRACT

We present several novel identities and inequalities relating the mutual information and the directed information in systems with feedback. The internal blocks within such systems are restricted only to be causal mappings, but are allowed to be non-linear, stochastic and time varying. Moreover, the involved signals can be arbitrarily distributed. We bound the directed information between signals inside the feedback loop by the mutual information between signals inside and outside the feedback loop. This fundamental result has an interesting interpretation as a law of conservation of information flow. Building upon it, we derive several novel identities and inequalities, which allow us to prove some existing information inequalities under less restrictive assumptions. Finally, we establish new relationships between nested directed informations inside a feedback loop. This yields a new and general data-processing inequality for systems with feedback.

연구 동기 및 목표

• 임의의 신호 분포를 가진 피드백 시스템에서 상호정보량과 유도정보량 간의 일반적 관계를 유도하기 위해.
• 폐쇄형 시스템에서 정보 흐름의 보존 법칙을 수립하여 내부 유도정보량을 외부 상호정보량과 연결하기 위해.
• 비선형, 시간에 따라 변하는, 그리고 확률적인 시스템 블록을 포함한 더 약한 가정 하에서도 기존 정보 부등식을 일반화하기 위해.
• 피드백 루프 내의 중첩된 유도정보량에 대해 새로운 데이터 처리 부등식을 개발하기 위해.
• 선형성이나 정상성을 요구하지 않는, 임의의 분포와 인과적 매핑에 대해 유효한 프레임워크를 제공하기 위해.

제안 방법

• 조건부 상호정보량의 연쇄법칙을 사용하고, 새로운 마르코프 체인을 구성하여 경계를 도출한다.
• 유도정보량의 정의를 이용하여 인과적 조건부 상호정보량의 합으로 표현한다: $ I(x^k \to y^k) = \sum_{i=1}^k I(y(i); x^i | y^{i-1}) $.
• 핵심 부등식을 도출한다: $ I(x^k \to y^k) \leq I(r^k; y^k) $, 여기서 $ r $ 은 루프 외부의 외생 신호이다.
• 독립적인 외생 입력을 가진 두 블록 피드백 시스템에서 마르코프 체인 $ r^k \leftrightarrow (u^k, y^k) \leftrightarrow q^k $ 를 수립한다.
• 인과적 매핑의 구조를 활용하여 정보 흐름이 외부 종속성에 의해 제약을 받음을 증명한다.
• 피드백 루프 내의 중첩된 유도정보량에 대해 데이터 처리 부등식을 일반화하여, 더 멀리 떨어진 신호일수록 유도정보량이 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 비선형, 시간에 따라 변하는, 그리고 확률적인 성분을 포함하는 일반적인 피드백 시스템에서 유도정보량과 상호정보량은 어떻게 관련될 수 있는가?
• RQ2 피드백이 있는 폐쇄형 시스템에서 정보 흐름을 지배하는 기본 보존 법칙은 무엇인가?
• RQ3 이 프레임워크를 사용하여 더 약한 가정 하에서도 기존 정보 부등식을 증명할 수 있는가?
• RQ4 피드백 루프 내부의 신호들 간의 유도정보량은 루프 외부의 신호들과 어떻게 관련되는가?
• RQ5 피드백 시스템 내의 중첩된 유도정보량에 대한 일반화된 데이터 처리 부등식의 구조는 무엇인가?

주요 결과

• 내부 신호들 간의 유도정보량은 외부 외생 신호와 내부 신호 간의 상호정보량으로 경계됨을 보여주는 기본 부등식: $ I(x^k \to y^k) \leq I(r^k; y^k) $.
• 이 부등식은 정보 흐름의 보존 법칙을 암시하며, 루프로 들어오는 총 정보 흐름이 외부 종속성에 의해 제약을 받음을 의미한다.
• 독립적인 외생 입력을 가진 두 블록 피드백 시스템에서 마르코프 체인 $ r^k \leftrightarrow (u^k, y^k) \leftrightarrow q^k $ 가 성립하며, 이는 새로운 정보이론적 경계를 가능하게 한다.
• 결과는 임의의 신호 분포, 비선형, 시간에 따라 변하는, 그리고 확률적인 시스템 블록에 대해 유효하며, 오직 인과성과 루프 지연이 최소 1개 샘플 이상이라는 조건만 필요로 한다.
• 새로운 일반화된 데이터 처리 부등식이 수립되었으며, 이는 피드백 루프 내에서 거리가 증가할수록 유도정보량이 감소함을 보여준다.
• 이 프레임워크를 통해 비선형 또는 비정상성 시스템과 같은 더 엄격한 가정이 없는 조건에서도 기존 부등식을 재증명할 수 있다.