[논문 리뷰] Rooted Trees with Probabilities Revisited

Georg Böcherer|arXiv (Cornell University)|2013. 02. 04.

Wireless Communication Security Techniques참고 문헌 3인용 수 5

한 줄 요약

이 논문은 확률을 가진 루트가 있는 트리를 재검토하며, 분기 분포의 기대값으로 표현되는 정규화된 기능들(예: 엔트로피율, 정보적 발산)을 위한 미분형 LANSIT를 제안한다. 주요 기여는 정규화된 발산이 제로로 수렴할 경우 엔트로피율이 곱 분포의 엔트로피율로 수렴함을 보여주는 트리 기반 핀스커 부등식의 제작이다.

ABSTRACT

Rooted trees with probabilities are convenient to represent a class of random processes with memory. They allow to describe and analyze variable length codes for data compression and distribution matching. In this work, the Leaf-Average Node-Sum Interchange Theorem (LANSIT) and the well-known applications to path length and leaf entropy are re-stated. The LANSIT is then applied to informational divergence. Next, the differential LANSIT is derived, which allows to write normalized functionals of leaf distributions as an average of functionals of branching distributions. Joint distributions of random variables and the corresponding conditional distributions are special cases of leaf distributions and branching distributions. Using the differential LANSIT, Pinsker's inequality is formulated for rooted trees with probabilities, with an application to the approximation of product distributions. In particular, it is shown that if the normalized informational divergence of a distribution and a product distribution approaches zero, then the entropy rate approaches the entropy rate of the product distribution.

연구 동기 및 목표

• 확률을 가진 루트가 있는 트리에서 엽-평균 노드합 교환정리(LANSIT)를 연속적이고 정규화된 기능들로 확장하는 것.
• 엽-평균 노드합 교환정리의 미분형을 도출하여, 정규화된 기능들(예: 엔트로피율, 발산)을 분기 노드 분포의 기대값으로 표현하는 것.
• 분기 분포의 변동 거리와 관련된 정규화된 정보적 발산을 연결하는 트리 기반 핀스커 부등식을 수립하는 것.
• 트리에서 분포가 곱 분포로 수렴할 경우 엔트로피율의 점근적 행동을 분석하는 것.
• 정규화된 발산 수렴이 분기 행동 분포의 기대값 수렴을 유도함을 보여주는 것.

제안 방법

• 경로 길이를 이용해 원래 LANSIT를 정규화하여 미분형 LANSIT를 도입하며, PB(j) = Qj / E[w(L)]를 통해 분기 노드에 대한 분포를 정의한다.
• 미분형 LANSIT를 적용하여 엔트로피와 발산의 정규화된 형태를 도출한다: H(PL)/E[w(L)] = E[H(PSB)] 및 D(PL∥PL′)/E[w(L)] = E[D(PSB∥PS′B)].
• 미분형 LANSIT를 사용하여 트리 기반 핀스커 부등식을 수립한다: D(PL∥PL′)/E[w(L)] ≥ 1/(2 ln 2) E[d²(PSB, PS′B)].
• 마르코프 부등식과 연속성 추론을 적용하여, 정규화된 발산이 0이 되면 분기 분포 간의 큰 변동 거리의 확률도 0으로 수렴함을 보인다.
• 기능들(예: 엔트로피, 임의의 g)의 유계성과 연속성을 활용하여, 정규화된 발산이 0이 되는 조건에서 분기 분포에 대한 기대값의 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 엔트로피율 및 발산과 같은 정규화된 기능들을 위해 LANSIT는 어떻게 재구성될 수 있는가?
• RQ2 정규화된 발산과 분기 분포의 변동 거리를 연결하는 핀스커 부등식을 확률을 가진 루트 트리로 일반화할 수 있는가?
• RQ3 잎 분포의 정규화된 발산이 곱 분포로부터 0으로 수렴할 경우 엔트로피율은 어떻게 되는가?
• RQ4 정규화된 발산 수렴이 분기 행동 분포 수렴을 유도하는 조건은 무엇인가?
• RQ5 분기 분포에서 기능들의 연속성과 유계성은 정규화된 발산이 0이 되는 조건에서 수렴에 어떤 영향을 미치는가?

주요 결과

• 미분형 LANSIT를 통해 정규화된 엔트로피율은 E[H(PSB)]로 표현될 수 있으며, 여기서 PSB는 분기 노드에 대한 분포이다.
• 잎 분포 간의 정규화된 정보적 발산은 분기 분포에 대한 발산 기대값과 같다: D(PL∥PL′)/E[w(L)] = E[D(PSB∥PS′B)].
• 트리 기반 핀스커 부등식이 수립되었다: D(PL∥PL′)/E[w(L)] ≥ 1/(2 ln 2) E[d²(PSB, PS′B)].
• 만약 |L| → ∞ 일 때 정규화된 발산 D(PL∥P+S∗)/E[w(L)] → 0 이면, 엔트로피율 H(PL)/E[w(L)] → H(PS∗) 로 수렴한다.
• 분기 분포에서 정의된 임의의 유계 및 연속 기능 g에 대해, 정규화된 발산 D(PL∥P+S∗)/E[w(L)] → 0 이면 E[g(PSB)] → g(PS∗) 로 수렴한다.