[논문 리뷰] The Minimum of the Entropy of a Two-Dimensional Distribution with Given Marginals

Giorgio Dall’Aglio, Elisabetta Bona|arXiv (Cornell University)|2011. 04. 08.

Statistical and Computational Modeling참고 문헌 1인용 수 3

한 줄 요약

이 논문은 고정된 근사분포를 가진 이변량 이산분포의 최소 엔트로피를 최대 프레체트 분포 함수의 행과 열 재정렬을 통해 최소화 분포를 구성함으로써 결정한다. 핵심 결과는 연도 분포가 대각선에 질량을 집중할 경우 최소 엔트로피가 근사분포 엔트로피와 동일해지며, 주어진 제약 조건 하에서 가능한 가장 낮은 불확실성 수준을 달성한다는 것이다.

ABSTRACT

The paper search for the minimum of the entropy of a two- dimensional distribution in the Fréchet class, the class of distributions with given marginals. The main result for discrete distributions is an algorithm for building the minimizing distribution, which is given by the maximum distribution function of the Fréchet class after a suitable rearrangement of the rows and of the columns. For absolutely continuous distributions a minimum does not exists, and the infimum is equal to -\infty.

연구 동기 및 목표

• 고정된 근사분포를 가진 Fréchet 클래스 내에서 연도 엔트로피를 최소화하는 분포를 식별하기 위해.
• 이산 경우에서 최소화 분포를 생성하는 구조적 알고리즘을 수립하기 위해.
• 절대 연속 경우에서 엔트로피의 하한값 행동을 분석하기 위해, 여기서 최소값이 존재하지 않는다.
• 최소 연도 엔트로피가 근사분포 엔트로피와 동일해지는 조건을 규명하기 위해.

제안 방법

• 최대 Fréchet 분포(M(x,y))의 행과 열을 재정렬하여 엔트로피를 최소화하는 알고리즘을 제안한다.
• Fréchet 경계를 사용: $ \max\{F(x)+G(y)-1,0\} \leq F(x,y) \leq \min\{F(x),G(y)\} $, 극한에서 등호가 성립한다.
• 엔트로피 공식 $ H(X,Y) = -\sum_{r,s} p_{r,s} \log p_{r,s} $ 를 적용하며, $ p_{r,s} $ 는 $ \max\{p_{r,\cdot}+p_{\cdot,s}-1,0\} \leq p_{r,s} \leq \min\{p_{r,\cdot},p_{\cdot,s}\} $ 를 만족한다.
• 지원의 분할을 이루는 $ p_{r,s}^* = p_{r,\cdot} $ 를 만족하는 방식으로 최소화 분포 $ P^* $ 를 구성한다.
• 최소 엔트로피가 연도 분포가 대각선에 질량을 집중할 때 도달되며, 이 경우 근사분포 엔트로피와 일치함을 보여준다.
• 연속 경우를 분석하여 엔트로피의 하한값이 $ -\infty $ 임을 보이며, 따라서 최소값이 존재하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 근사분포를 가진 이변량 이산분포의 최소 엔트로피는 얼마인가?
• RQ2 고정된 근사분포 하에서 엔트로피를 최소화하는 분포를 생성할 수 있는 구조적 알고리즘을 개발할 수 있는가?
• RQ3 최소 연도 엔트로피가 근사분포 엔트로피와 동일해지는 조건은 무엇인가?
• RQ4 절대 연속 분포에서 고정된 근사분포를 가진 경우 엔트로피의 하한값은 어떻게 되는가?
• RQ5 최소화 분포의 구조는 Fréchet 경계와 최대 분포 함수와 어떻게 관련이 있는가?

주요 결과

• 고정된 근사분포를 가진 이산 이변량 분포의 최소 엔트로피는 최대 Fréchet 분포 함수의 행과 열 재정렬을 통해 도출된 분포에서 달성된다.
• 최소화 분포는 $ p_{r,s}^* = p_{r,\cdot} $ 를 만족하며, $ r \in I_s $ 이고, $ \{I_s\} $ 는 $ \sum_{r \in I_s} p_{r,\cdot} = p_{\cdot,s} $ 를 만족하는 색인 집합의 분할이다.
• 해당 분할이 존재할 경우 최소 연도 엔트로피는 근사분포 엔트로피와 동일해진다: $ H(X^*,Y^*) = H(X) = H(Y^*) $.
• 이산 균일분포와 기하분포 근사분포의 경우, 최소 엔트로피는 명시적으로 계산 가능하며 근사분포 엔트로피와 일치한다.
• 고정된 근사분포를 가진 절대 연속 분포의 경우, 엔트로피의 하한값은 $ -\infty $ 이므로 최소값이 존재하지 않는다.
• 특히 점의 수가 증가함에 따라, 한 근사분포가 기하분포이고 다른 한 근사분포가 균일분포일 경우 최소 엔트로피는 최대 엔트로피에 임의로 가까워질 수 있다.