[논문 리뷰] On entropy for mixtures of discrete and continuous variables

Chandra Nair, Balaji Prabhakar외 1명|ArXiv.org|2006. 07. 14.

Bayesian Methods and Mixture Models참고 문헌 3인용 수 24

한 줄 요약

이 논문은 이산 및 연속 성분을 포함하는 혼합 쌍 랜덤 변수를 위한 통합 엔트로피 프레임워크를 제안한다. 기존의 이산 엔트로피와 미분 엔트로피를 확장하여, 이러한 혼합 변수를 포함하는 전단사 변환에서 엔트로피 보존을 보장함으로써, 포아송 분할과 같은 시스템에서 엔트로피율 항등식의 엄밀한 정당화를 가능하게 한다. 주요 결과로는 분할된 포아송 과정의 일관된 엔트로피율이 이론적 기대와 일치함을 보여준다.

ABSTRACT

Let $X$ be a discrete random variable with support $S$ and $f : S o S^\prime$ be a bijection. Then it is well-known that the entropy of $X$ is the same as the entropy of $f(X)$. This entropy preservation property has been well-utilized to establish non-trivial properties of discrete stochastic processes, e.g. queuing process \cite{prg03}. Entropy as well as entropy preservation is well-defined only in the context of purely discrete or continuous random variables. However for a mixture of discrete and continuous random variables, which arise in many interesting situations, the notions of entropy and entropy preservation have not been well understood. In this paper, we extend the notion of entropy in a natural manner for a mixed-pair random variable, a pair of random variables with one discrete and the other continuous. Our extensions are consistent with the existing definitions of entropy in the sense that there exist natural injections from discrete or continuous random variables into mixed-pair random variables such that their entropy remains the same. This extension of entropy allows us to obtain sufficient conditions for entropy preservation in mixtures of discrete and continuous random variables under bijections. The extended definition of entropy leads to an entropy rate for continuous time Markov chains. As an application, we recover a known probabilistic result related to Poisson process. We strongly believe that the frame-work developed in this paper can be useful in establishing probabilistic properties of complex processes, such as load balancing systems, queuing network, caching algorithms.

연구 동기 및 목표

• 이산 및 연속 성분을 조합한 혼합 쌍 랜덤 변수에 대한 일관된 엔트로피 정의의 부족을 해결한다.
• 혼합 변수를 포함하는 전단사 변환에서 엔트로피 보존을 위한 엄밀한 기초를 제공한다. 이는 복잡한 스토케스틱 시스템 분석에 필수적이다.
• 네트워크 및 큐잉 이론에서 흔히 사용되는 직관적인 '정보 보존' 논증을 공식적으로 정당화할 수 있도록 한다.
• 혼합 변수 동역학을 갖는 연속 시간 마르코프 체인으로 엔트로피율 개념을 확장한다.
• 내재된 이산 선택과 연속 시간 요소를 포함하는 시스템에서 기존의 확률적 결과에 대한 더 단순하고 엄밀한 증명을 가능하게 한다.

제안 방법

• 혼합 쌍 변수 $Z = (X,Y)$ 에 대해 이산 엔트로피 $H(X)$ 와 미분 엔트로피 $h(Y)$ 를 모두 일반화하는 하이브리드 엔트로피 측도 $\mathbb{H}$ 를 정의한다.
• 순수 이산 또는 연속 변수의 엔트로피가 혼합 쌍 프레임워크에 통합될 때도 그대로 유지되도록 일관성을 확보한다.
• 변환 행렬의 행렬식을 포함하는 자코비안 기반 기준을 통해 전단사 변환에서 엔트로피 보존을 위한 충분조건을 설정한다.
• 시간 간격에서의 경험 엔트로피의 극한 행동을 활용하여 연속 시간 과정에 프레임워크를 적용한다.
• 정적 Ergodic 과정의 엔트로피율 공식을 사용하여 변환된 시스템에서 엔트로피율을 계산하고 비교한다.
• 순열 기반 매핑(예: 동전 던지기를 통한 과정에 점 할당)은 자코비안 행렬식이 $\pm 1$ 이므로, 제안된 정의에 따라 엔트로피를 보존한다.

실험 결과

연구 질문

• RQ1 이산 및 연속 성분을 혼합한 랜덤 변수에 대해 엔트로피를 어떻게 일관되게 정의할 수 있는가?
• RQ2 혼합 쌍 랜덤 변수 간의 전단사 변환이 엔트로피를 보존하는 조건은 무엇인가?
• RQ3 포아송 분할에서의 직관적인 엔트로피율 항등식—전체 엔트로피가 구성 요소 엔트로피와 동전 던지기 엔트로피의 합과 일치하는 것—을 어떻게 엄밀히 정당화할 수 있는가?
• RQ4 혼합 이산-연속 상태 동역학을 갖는 연속 시간 마르코프 체인의 엔트로피율은 무엇인가?
• RQ5 제안된 엔트로피 프레임워크는 큐잉 및 로드 밸런싱 시스템에서 기존 결과에 대한 증명을 어떻게 단순화하거나 엄밀히 정당화할 수 있는가?

주요 결과

• 제안된 엔트로피 측도 $\mathbb{H}$ 는 순수 이산 또는 연속 변수가 혼합 쌍 프레임워크에 통합될 때도 엔트로피를 그대로 유지하여 일관성을 보장한다.
• 포아송 분할의 경우, 원래 과정 $\mathcal{P}$ 와 동전 던지기 과정의 엔트로피율이 두 개의 독립적인 베이비 과정 $\mathcal{P}_1$ 과 $\mathcal{P}_2$ 의 공동 엔트로피율과 일치함을 확인하여 항등식 $H_{ER}(\mathcal{P}_1,\mathcal{P}_2) = H_{ER}(\mathcal{P}) + \lambda(-p\log p - (1-p)\log(1-p))$ 를 확인한다.
• $\mathcal{P}_1$ 의 엔트로피율이 엄밀히 $\lambda p(1 - \log \lambda p)$ 로 도출되어, 강도 $\lambda p$ 를 갖는 포아송 과정의 알려진 엔트로피율과 일치함을 보여준다.
• 마찬가지로 $\mathcal{P}_2$ 의 엔트로피율이 $\lambda(1-p)(1 - \log \lambda(1-p))$ 로 확인되어 이론적 기대와 일치함을 검증한다.
• 혼합 변수를 포함하는 전단사 변환에서 엔트로피율 보존을 엄밀히 증명할 수 있으며, 특히 자코비안 행렬식이 $\pm 1$ 인 경우—예를 들어 순열 기반 매핑의 경우—엔트로피가 보존됨을 보여준다.
• 혼합 동역학을 갖는 연속 시간 마르코프 체인의 엔트로피율은 시간에 따른 상태 궤적의 평균 엔트로피의 극한을 통해 계산할 수 있으며, 이는 하이브리드 시스템으로 개념을 확장한다.